#transformer

7 篇

Stochastic Rounding in Low-Precision Transformer Inference: A Variable-Precision Emulation Study of a Small GPT-2

低精度 Transformer 推理中的随机舍入：小 GPT-2 变精度仿真研究

🧭 低精度推理 · 随机舍入策略

Krembil Centre for Neuroinformatics, Centre for Addiction and Mental Health · Université Paris-Saclay, UVSQ, LI-PaRAD

系统研究低精度 Transformer 中随机舍入与就近舍入的逐位置权衡，发现 MLP 输出宜用 SR、LM head 宜用 RN，混合配置可显著降低困惑度损失

📌 工作参考价值（3 点）

在低比特部署 LLM 时，不要全局统一舍入策略：对长 reduction 的 MLP 输出（尤其 down-projection）优先尝试随机舍入 SR，可显著抑制误差累积；而在 LM head 保留就近舍入 RN，避免引入非均匀 logit 方差导致 softmax 损失增加。
混合精度方案可将 SR 用于 MLP、RN 用于 head，实验中在 t=6 时把 perplexity 损失从等位 RN 的约 2.21x 降至 1.10x，减少约 28%，这对电商搜索/推荐中的文案生成、query 改写等低比特小模型很实用。
借助 PRISM 变精度随机舍入（VPSR）算法可离线评估不同层/操作的舍入策略，无需真实低精度硬件即可进行 what-if 分析，适合在量化工具链中作为 auto-tuning 组件。

LLM | 2026-10-01 | cs.CL | score 7/10

TS-RAG: Retrieval Augmented Generation for Time Series Forecasting

TS-RAG：用于时间序列预测的检索增强生成

🧭 检索增强的时间序列预测

Baidu, Inc.

提出 TS-RAG，用参考令牌融合检索序列，提升时间序列预测精度

📌 工作参考价值（4 点）

在电商销量、流量等时序预测中，可借鉴 TS-RAG 的检索增强思路，检索相似历史窗口并通过可学习的参考令牌融合，避免简单拼接带来的噪声。
对于推荐系统的行为序列预测（如用户下一步动作），可检索相似用户序列作为参考，用融合机制增强模型对长尾或冷启动场景的预测能力。
工程实现上，需预先对历史序列切片并计算表示向量，构建近似最近邻索引，在线推理时低延迟检索，同时注意定期更新索引。
参考令牌设计与 Transformer 主干解耦，可灵活插入现有预测模型，无需大幅改动架构。

RAG | 2026-08-06 | cs.LG | score 7/10

time series forecasting retrieval augmented generation reference tokens transformer state-of-the-art

SlimPer: Make Personalization Model Slim and Smart

让个性化模型更轻量更智能

🧭 个性化排序模型轻量化与深度缩放

将个性化排序重构为紧凑知识库的迭代精炼，实现 O(N) 每层成本，解耦深度与用户历史长度

📌 工作参考价值（4 点）

紧凑中间表示解耦深度与序列长度：借鉴 SlimPer 固定大小的知识库表示，在电商推荐中可串联更深网络而不显着增加计算与内存，便于扩展更细粒度的用户行为建模。
请求级优化共享用户特征：对同一请求中多个候选商品，只维护一份用户侧 token，大幅减少显存占用，适合高并发在线广告/推荐服务。
显式多模态匹配打分：在注意力中直接计算用户与商品 token 的匹配分数，可迁移到搜索广告中，在粗排或精排阶段提供可解释的相关性信号。
统一稀疏稠密序列特征：将账户画像、实时行为与长期序列统一 backone 处理，简化特征工程与模型部署，适合大促场景下多类型特征快速融合。

RecSys | 2026-07-14 | cs.IR | score 10/10

personalization transformer scalability user modeling Instagram recommendation

Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models

Wan-Streamer v0.1：端到端实时交互基础模型

🧭 端到端多模态流式交互

Alibaba Group

首个原生流式、端到端全双工多模态交互模型，单Transformer统一语音/视频/文本，模型侧延迟200ms

📌 工作参考价值（4 点）

统一多模态 Transformer 架构可简化电商直播、虚拟客服等场景中的感知-决策-生成流水线，消除级联模块间的错误累积和调度延迟。
块因果注意力（block-causal attention）与 160ms 流式单元的设计可直接借鉴到需要低延迟增量推荐的场景（例如直播实时排序、流式反馈更新），保证推理的流式一致性。
全双工交互范式可启发对话式推荐 Agent：让 Agent 在用户说话/行动的同时并行准备响应，实现自然的“边听边想边说”，提升互动流畅度。
低延迟多模态令牌调度策略（audio/video/text token 交错编排）为构建实时多模态搜索与推荐系统提供了工程参考，减少端到端响应时间。

Multimodal | 2026-06-22 | HF Daily | score 6/10

streaming multimodal transformer real-time full-duplex interactive AI

Grouped Query Experts: Mixture-of-Experts on GQA Self-Attention

分组查询专家：GQA上的混合专家自注意力

🧭 稀疏注意力·动态查询头路由

FrontiersMind

在GQA中为每个token动态路由仅部分查询头，匹配密集基线且长上下文prefill加速1.7-1.8倍。

📌 工作参考价值（4 点）

在推荐模型的Transformer序列编码中，若已使用GQA减少KV缓存，可直接引入GQE：保持KV头全激活，仅对查询头做token级稀疏路由，降低长序列用户行为建模的注意力计算量。
路由选择可根据token难度（如特征重要性分数）设计轻量线性路由器，在训练时加入负载均衡损失防止头利用率崩塌，这一点与普通MoE一致，可直接复用现有MoE工程组件。
长上下文推理加速明显，适合搜索推荐系统中需要处理用户长期行为序列（如数月点击历史）的场景，prefill阶段获得约1.8倍加速，同时保持下游任务精度无损。
在资源受限的Agent多轮对话或生成式推荐中，KV缓存占用常为瓶颈，GQE保留了GQA的KV共享优势，又额外节省查询头计算，可以作为移动端或边缘推理的候选方案。

Training | 2026-06-17 | HF Daily | score 7/10

MoE GQA sparse-attention kv-cache conditional-computation transformer

Bag of Dims: Training-Free Mechanistic Interpretability via Dimension-Level Sign Patterns

维度袋：维度级符号模式实现无训练机制可解释性

🧭 无训练LLM可解释性 · 符号维度

Amazon Web Services

Transformer隐藏状态标准基中维度符号独立编码语义，纯符号匹配即可高AUC检测概念，无需额外旋转或训练。

📌 工作参考价值（4 点）

轻量概念检测：在推荐系统的LLM特征抽取后，可用维度符号模式直接检测商品类目、品牌、情感等概念，无需标注数据训练探针，单次前向即可计算符号一致性得分，AUC可达0.97以上，节省工程成本。
高效向量检索：将embedding量化为符号向量（±1），用汉明距离替代cos相似度做近似检索，大幅降低存储和计算，已在LM head中验证符号匹配能保留80-90% top-4096预测，可直接用于召回或排序的近似加速。
模型诊断与审计：标准基维度符号独立性强（互信息<0.006 bits），可逐维度解释模型内部概念，用于线上模型漂移监控、偏差检测或新概念发现，无需GPU天级别的重新训练。
Agent状态校验：在LLM驱动的Agent规划中，可实时检查隐藏状态的符号模式是否对齐安全或业务相关特征，通过翻转特定维度符号做因果干预，低成本实现概念级可控生成。

LLM | 2026-06-16 | HF Daily | score 7/10

interpretability mechanistic interpretability sign patterns transformer feature discovery dimension-level

Dynamic Short Convolutions Improve Transformers

动态短卷积：用输入依赖的局部混合增强 Transformer

🧭 动态短卷积增强 Transformer 架构 ★ 深度解读

Massachusetts Institute of Technology · MIT-IBM Watson AI Lab

提出输入依赖的短卷积替代静态卷积，在 QKV 或全部线性层上带来 1.33–1.60× 计算优势，并保持低训练开销。

📌 工作参考价值（4 点）

在推荐、Agent 序列建模中，可将动态短卷积作为一种局部上下文交互层，放置在 QKV 或所有线性层后，增强模型对内容依赖的局部组合能力。
参数效率方面，使用低秩分解（rank R）或 head‑wise 共享动态卷积分量，在参数量仅小幅增加的前提下获得明显性能提升，适合资源敏感的业务场景。
工程实现上，可借鉴 Triton 内核融合（将动态权重生成与卷积操作熔合，避免中间张量写回 HBM）以减少内存带宽压力，使训练吞吐仅下降约 8%，适合实际部署。
动态卷积可与现有序列混合器（如 Attention、Mamba、DeltaNet）组合使用，替换其中的静态卷积，无需改动整体架构设计即能获得额外收益。

LLM | 2026-06-02 | cs.CL | score 8/10

dynamic convolution transformer language modeling architecture scaling laws triton kernel