Abstention and Noise Filtering: Two Missing Primitives of Softmax Attention
弃权与噪声过滤：Softmax 注意力的两个缺失原语
🧭 注意力机制原语 · 模型训练改进
St. John Fisher University
显式加入弃权(sink logit)与值门控噪声过滤，两者结合在10M-350M匹配模型中均优于softmax基线
📌 工作参考价值（4 点）
- 若在电商搜索/推荐中自研或微调 Transformer 排序模型（如 LLM4Rec、行为序列建模），可直接在 attention 中加入 per-head sink logit 实现 abstention，几乎零参数且兼容 KV cache，适合长序列中忽略无关历史行为。
- 在用户行为序列包含大量噪声（点击噪声、误触、跨域行为）时，对 value 侧加可学习 gate 过滤 residual stream 中的叠加特征干扰；模型规模越大，该噪声过滤收益越明显，10M→350M 趋势提示大规模 CTR/CVR 模型优先考虑 value gating。
- 两种原语有互补盲区，建议同时加入而非只选一种；在 Agent 多步推理或 RAG 检索上下文拼接时，attention 可能被迫把注意力质量分配给无关 token，sink logit 可以让头显式弃权，减少错误信息聚合。
- 若用 LoRA 微调已有 LLM 推荐/Agent 模型，这些改动不增加缓存开销，可作为结构正则化 trick 加在 attention 子层，注意 warmup 和初始门控设置。