#Transformers

4 篇

Transformers as Cross-Task Learners: Shared Structure Drives Sample Efficiency in In-Context Learning

Transformer 作为跨任务学习者：共享结构驱动上下文学习样本效率

🧭 ICL 理论 · 跨任务泛化

首次用覆盖数量化跨任务低维结构并构造 Softmax Transformer 实现 ICL 近似与泛化

📌 工作参考价值（4 点）

多任务预训练/指令微调时，优先构造共享底层结构的任务族（如同品类推荐、同类型 query 改写），低维任务流形可让模型在小 prompt 下完成新任务；不必盲目堆长上下文示例。
覆盖数/锚函数思路可迁移为“任务原型检索”：对电商 Agent 或推荐场景，先对历史任务评估函数做聚类得到代表性锚点，再对新请求做软匹配与加权聚合，缩小检索与推理空间。
误差界表明：当预训练任务数量足够覆盖任务空间时，prompt 长度依赖显著下降。这支持工程上优先扩充任务多样性、而非仅增加单任务样本数量。
主要仍是学术贡献，直接可落地的算法较少，但可为多任务模型的任务划分、数据配比与上下文长度选择提供理论直觉。

Training | 2026-09-24 | stat.ML | score 6/10

LazFormer：面向工业推荐的可迁移生成式预训练 Transformer 扩展

🧭 生成式预训练 + 排序 Transformer ★ 深度解读

Alibaba International Digital Commerce Group

用生成式预训练 + 残差适配器 + 非对称多 epoch 训练，实现工业推荐 Transformer 的参数与数据双扩展

📌 工作参考价值（4 点）

预训练与排序特征空间不一致时，用零初始化的残差适配器（类似 LoRA）注入排序特定特征，比直接拼接或额外投影更稳定，能避免稠密参数负迁移
长序列建模可保留最近 1k 细粒度 token + 更早历史按组求和池化；混合稀疏注意力中最近 128 个 token 设为全局 token，其余用滑动窗口，目标 item 只与历史交互且目标之间隔离，再逐层剪枝历史 token，可达到 92%+ 稀疏度和 5x 注意力加速，AUC 损失仅 0.1pt
多 epoch 训练时，每 epoch 把稀疏 embedding 重置回预训练状态、稠密参数持续累积，能避免稀疏过拟合，使数据规模扩展持续带来收益
同请求多个候选 item 共享一次用户历史序列编码，消除重复数据传输和编码开销，在线吞吐下降仅 12.1%，工程收益显著

RecSys | 2026-09-14 | cs.IR | score 9/10

语法信息位置嵌入：超越序列顺序的Transformer增强

🧭 语法增强的位置编码

University of Arizona

将依赖解析语法先验按架构特性注入位置编码，大幅提升句法及语义理解，且推理成本极低

📌 工作参考价值（4 点）

序列推荐中若使用相对位置编码（如Transformer-XL），可将用户行为依赖关系（浏览→加购→购买）作为语法先验，与相对位置注意力分数相乘，强化行为结构信号。
对使用绝对/旋转位置编码的编码器，可把预计算的行为依赖嵌入直接加在输入嵌入上，简单组合原生位置机制，不改动模型主体。
推理时仅需单一依赖图（离线预先解析），无额外计算开销，适合线上实时推荐/Agent系统，避免多解析树集束搜索或边际化。
对话Agent的状态追踪可借鉴：将对话动作序列解析为依存树，生成语法感知的位置嵌入，增强长程对话理解，并可分别按encoder/decoder调整注入策略。

Other | 2026-08-06 | cs.CL | score 6/10

RL后训练构建组合性推理策略

🧭 RL后训练组合推理策略机制

Gatsby Computational Neuroscience Unit, UCL

RL后训练能将基础模型的原始技能组合为新的高级推理策略，而拒绝微调易陷入停滞。

📌 工作参考价值（4 点）

在需要多步推理的业务场景（如 Agent 自动构建搜索策略、多跳问答、动态推荐流程），采用 RL 后训练比拒绝采样微调更可能组合出高级策略，可复现性地提升难以通过采样突破的任务成功率。
RL 探索的选择性很关键：RFT 常生成无效捷径，而 RL 能集中探索有效且可复用的结构。实践中可借鉴引入过程监督或结构先验来过滤无效探索，提升训练效率。
预训练阶段的技能组织方式直接影响后训练的组合能力：在电商/推荐模型中，若预训练只堆砌原始特征交互，RL 难以将其组合为可靠推理；应在预训练时通过课程或任务设计让模型先掌握可被压缩的原子过程。
组合策略出现具有阶段性（先强化原语，再发现组合），提示我们可以在 RL 早期加入辅助奖励或先验来加速这一过程，例如在 Agent 训练中先强化基础工具调用，再组合成复杂工作流。

Reasoning | 2026-07-08 | cs.CL | score 7/10