SpecFormer: Mitigating Embedding and Attention Collapse via Spectral-Aware Transformer for Recommendation
SpecFormer：通过谱感知Transformer缓解推荐中的嵌入与注意力坍缩
🧭 谱感知Transformer · 特征交互坍缩缓解
Zhejiang University · Alibaba Group
揭示推荐数据异质长尾引发谱坍缩恶性循环，用动态谱软化与谱感知注意力打破瓶颈
📌 工作参考价值
- 谱软化模块可迁移至任何Transformer特征交互模型：用可学习的幂律变换 (τ ∈ (0,1)) 动态压平奇异值分布，抑制主成分、激活长尾特征。此trick可直接插入现有推荐Transformer或LLM4Rec的注意力层前，成本低。
- Q/K用软化嵌入、V用原始嵌入的分离设计：实验证实，V用软化嵌入会扭曲语义、导致信息丢失。在工业级特征交互中，保留原始V可稳定聚合，软化Q/K则引导多样化的注意力模式，是简单有效的工程选择。
- 基于Taylor展开的谱残差偏置：用归一化奇异值的二阶多项式构造结构化偏置加回注意力得分，既补偿软化对主成分的压制，又为模型提供明确的谱感知归纳偏置。可抽象为一种增强Transformer表达能力的通用位置编码技巧。
- 两阶段训练稳定SVD模块：先用空间残差项预热5%数据，再开启主CTR训练。该策略解决了随机初始化下奇异值分布病态导致的数值不稳定，对有SVD/谱变换的模型尤其关键。
- 深度可扩展性与在线部署：9层SpecFormer注意力有效秩持续上升、AUC递增，而标准Transformer急剧坍缩。在线A/B中仅+5ms延迟换得CTR +1.34%、订单+16.72%，证明工业级极低成本获得显著收益。
动机
Transformer 在 NLP/CV 中通过深层堆叠持续获益，但在推荐系统中，标准自注意力常出现性能倒挂，甚至不如简单模型。本文揭示根因：用户/物品等特征极度异质且呈长尾分布，导致输入嵌入矩阵的奇异值严重倾斜，少数主成分主导（谱坍缩）。理论上，前向传播中坍缩的嵌入使注意力图退化为低秩平滑矩阵，反向传播梯度被锁定在主成分方向，尾部特征几乎无更新，形成“嵌入坍缩 → 注意力坍缩 → 梯度坍缩”的恶性循环，使模型深度扩展失效。
方法关键点
- 可学习谱软化 (Learnable Spectral Softening)：每层输入 H(l) 做 SVD 后，对奇异值取幂律变换 σ → σ^τ (τ=Sigmoid(a) ∈ (0,1))，动态压平分布。τ 可学习，初始 0.5，简单有效抑制主成分。
- 谱软化注意力 (Spectrum-softened Attention)：Query 和 Key 用软化后的 H* 计算，Value 保持原始 H。避免单一成分垄断注意力，同时保真原始语义。数学上，注意力得分 S = U(ΣVᵀWqWkᵀVΣ)Uᵀ，均衡利用各谱分量。
- 谱残差位置编码 (Spectral Residual Position Encoding)：基于归一化奇异值的 Taylor 二阶展开构建偏置 Pbias = U P Uᵀ，P_{ij} = σ₁² h(σ̄_i, σ̄_j)。通过显式锚定最大奇异值，补偿软化对主信号的削弱。同时加入原始空间残差 Sbias = (H W̃_q)(H W̃_k)ᵀ，用独立投影稳定训练。
- 两阶段训练：先用 5% 数据预热嵌入（仅用空间残差项），再全量训练谱模块，保证 SVD 数值稳定。
关键结果
- 离线对比：在工业数据集 (12 亿曝光)、Criteo、Avazu 上，SpecFormer 的 AUC/GAUC 均显著优于 OneTrans、RankMixer 等 SOTA，工业 GAUC 达 0.6537，AUC 相对提升 0.0024。
- 深度扩展：堆叠至 9 层，SpecFormer 的注意力有效秩持续上升，AUC 单调增长；OneTrans 有效秩剧烈波动且迅速坍缩，性能先升后降。
- 在线 A/B：部署于阿里电商广告平台，CTR +1.34%，订单 +16.72%，延迟仅增 5ms。
核心洞察
在推荐 Transformer 中，直接对 SVD 谱进行自适应软化和谱域注意力计算，从根源上切断嵌入—注意力坍缩的回路，让 Transformer 首次在推荐中展现出真正的深度可扩展性。