#softmax

3 篇

A Fix for Softmax and Cross-Entropy

softmax 与交叉熵的数值修复：消除梯度塌缩与抵消

🧭 数值稳定训练 · softmax/CE 修复 ★ 深度解读

Google DeepMind

修复 softmax/cross-entropy 的两个数值 bug，消除 Slingshot 尖刺与蒸馏漂移

📌 工作参考价值（4 点）

在大规模多分类/生成式推荐训练（含 bf16）中，若出现 loss 精确为 0、梯度不对称或 Slingshot 尖刺，优先检查 logit margin 是否超过精度悬崖：bf16 约 5.5，fp32 约 16.6。可直接替换 CE 为论文的稳定实现：loss=softplus(-margin)，margin=-logsumexp(非目标 logits - 目标 logit)，保证 target logit 梯度不归零且梯度严格零和。
做知识蒸馏（如 LLM 教师蒸馏排序模型、语义 ID 蒸馏、ctr 蒸馏）时，学生接近教师时标准 soft-target CE 会因 q-p 相减产生非零噪声梯度，导致学生漂移；应改用 log-space 直接计算 q-p 的实现（expm1/log1p），保证 zS=zT 时梯度为 0，bf16 下尤其重要。
AdamW/Adam 训练时 logit margin 最终会稳定在 log(1/ε)，若 ε=1e-8 则 margin≈18.4，略高于 fp32 悬崖；可通过调整 ε 避开精度悬崖或使用稳定 CE，避免高置信度下的隐性优化问题。
该修复为 drop-in 替换、无额外计算开销，建议直接用于训练框架的 CE 实现，防止高置信度场景的数值退化。

Training | 2026-10-22 | cs.LG | score 8/10

VC-Attention：值平滑与 Softmax 投影的低比特注意力

🧭 低比特注意力 · 量化推理加速

Nunchux AI · MIT · CMU · UC Berkeley · Stanford

训练免费的低比特注意力框架，用值平滑和融合概率投影同时提升量化和速度

📌 工作参考价值（4 点）

低比特激活量化中，value 异常值往往无固定通道/时空结构，可借鉴 V-Smooth：先对 token 做轻量在线聚类，使硬件 block 内分布更均匀，再对残差（减去块均值）量化，利用 online softmax 维护的 row sum 恢复均值；该方法无需重训，可直接套用到 Transformer 排序模型或 LLM-based Agent 的 attention 推理加速。
softmax 高精度指数是低比特 attention 的非 GEMM 瓶颈，ExpCast-FP8 把 log-domain 分数直接映射为 E4M3 概率码，用一次融合乘加替代 FP32 指数和格式转换，可迁移到 LLM 推理 kernel，提高 Tensor Core 利用率、降低 pipeline 阻塞。
工程上关注到 block 量化尺度由最大值决定、典型值代表范围窄的问题；通过 token 重排 + 残差量化减少误差，这种思路也适用于 embedding/特征的低比特压缩。
该工作展示了在多种新 GPU 上对 attention kernel 的精细优化，可作为自研推理引擎中 attention 低比特实现的参考基线；但业务侧若以 CPU/通用 GPU 为主，需要评估移植成本。

Other | 2026-09-13 | HF Daily | score 6/10

DnA：面向视觉任务的去噪注意力机制

🧭 去噪注意力机制提升模型判别力

University of Central Florida · University of North Carolina at Charlotte

通过正负查询分离与子空间排斥设计，消除softmax注意力中的噪声模式，提升ViT/B等视觉模型判别力。

📌 工作参考价值（4 点）

用户行为序列（点击/购买）常含误触、偶然兴趣等噪声，可借鉴DnA的正/负query思想：设计正query提取目标意图，负query抑制干扰行为，提升序列建模质量。
电商多模态场景（商品图片+文本）中，视觉注意力易被背景、无关细节干扰，可将DnA嵌入ViT backbone，增强物品表征的判别力。
子空间分离增大主角的想法可迁移到embedding层：对不同属性的特征（如类目、品牌）学习相互正交的子空间，避免信息混杂，提升特征区分度。
该方法轻量且即插即用，替换标准softmax无需大幅改动模型结构，适合快速验证能否抑制推荐模型中的注意力噪声问题。

Training | 2026-06-25 | cs.CV | score 6/10