门控循环Transformer：通过循环调制实现深度表达力
🧭 高效Transformer架构 · 循环深度共享
The German University in Cairo · Technical University of Munich · Cerebras Systems Inc.
用门控循环共享核心层，在固定算力或参数预算下达到甚至超越稠密Transformer质量，大幅减少参数与解码内存
📌 工作参考价值（4 点）
- 共享核心层 + 固定 prelude/coda 的架构可作为在线大模型推理的轻量化替代：用 3 层共享核心迭代 R 次匹配 12 层稠密模型精度，峰值解码内存降低约 59%，适合内存受限但延迟容忍度较高的生成式推荐/文案生成服务。
- 门控循环更新机制（elementwise gate 结合隐藏状态、prelude 输出与每步重采样噪声）能让同一组层在不同循环步动态调制输入，避免深度共享导致的表达坍缩；该 trick 可迁移到推荐序列建模中的共享 Transformer 层，在参数不变的情况下提升序列多样性建模能力。
- 采用 isoFLOPS / isoPARAMS 评估方式做架构选型，对实际部署有指导意义：在固定算力或参数预算下，优先考虑增加循环深度而非堆叠唯一层，可以获得更好的 loss/质量与内存 tradeoff。
- 对于广告文案生成、搜索 query 推荐等需要大模型但受限于显存和参数规模的场景，GRT 提供了一种可复用的参数高效化路径，且其代码已开源，便于快速验证迁移效果。
下一帧截图知道答案：门控后见蒸馏训练移动GUI代理
🧭 GUI Agent · 后见知识蒸馏 ★ 深度解读
电子科技大学
利用下一帧截图作为特权信息，通过门控蒸馏将未来知识注入前缀策略，显著提升GUI代理任务成功率。
📌 工作参考价值（4 点）
- 序列决策任务（如推荐多轮交互）中，可模仿GHD，将用户事后真实行为（点击、购买）作为“未来状态”，通过teacher-student蒸馏，将事后知识注入仅依赖当前上下文的前缀策略，提升决策合理性。
- 门控机制“仅学生犯错且教师纠正时蒸馏”能有效过滤噪声样本，保证蒸馏信号的可靠性；类似地在推荐agent训练中，可只蒸馏那些模型在当前状态下给出差动作而事后信息能给出更好动作的case。
- 将强化学习（GRPO）与token级分布蒸馏结合，提供稠密的token级监督，比传统基于动作标签的模仿学习更高效；该训练范式可迁移到任何需自然语言推理+行动的agent场景。
- 动态采样（最多三次尝试寻找有效蒸馏样本）在不大幅增加训练开销的情况下显著提升有效监督密度，适合在离线数据有限时提升RL训练效率。
选择性验证：预算感知的推理分配方法
🧭 推理时计算资源分配优化
Department of Computer Science, Virginia Tech · Fralin Biomedical Research Institute, Virginia Tech · FBRI Cancer Research Center, Washington, DC
SEVRA用门控机制选择性触发验证，在提升准确率的同时大幅削减后生成token开销
📌 工作参考价值（4 点）
- 选择性验证降低服务成本：在推荐Agent或RAG管线中，对LLM生成的解释、候选理由进行二次验证会增加延迟和费用，可训练轻量门控模型（基于初始输出的隐含状态或置信度特征）决定是否触发验证，避免全量验证，参考SEVRA将验证token减少26.8%~91.2%的收益。
- 优先扩展初始推理预算：实验表明延长初始生成（如增加token限制）往往比事后验证更高效，在推荐场景中，若已为LLM分配推理预算，应优先投入在首次生成更长、更细致的推理链，而非立即增加验证步骤。
- 门控模型可跨任务迁移：SEVRA的门控策略从数学任务直接迁移到常识推理无需重训，仍能保持高精度且大幅减少验证调用，暗示在领域迁移时，基于求解器状态的“可恢复性”特征具通用性，可尝试复用于搜索词推荐、文案生成等不同任务的验证控制。
- 显式控制有害翻转：对于高敏感场景（如电商价格推荐、法律合规审查），SEVRA将有危害性答案翻转率从2.2%降至1.0%，这种“先判定再验证”的思路可用于拦截LLM在二次推理时可能引入的错误修改，提升输出稳定性。
Gated DeltaNet-2: 线性注意力中擦除与写入的解耦
🧭 线性注意力 · 记忆更新解耦
NVIDIA
将 Delta 规则的记忆更新拆分为通道级擦除门与写入门，突破原有标量门控的耦合限制，显著提升长上下文检索性能。
📌 工作参考价值（4 点）
- 超长用户序列建模：电商中用户行为序列可达数万步，Gated DeltaNet-2 的线性时间复杂度和常量级解码内存可直接用于高效序列编码，其通道级擦除/写入解耦能更精细地更新兴趣记忆，避免旧兴趣过早丢失或新兴趣写入不足。
- 记忆网络的特征交互：可将该方法的核心思想——解耦“遗忘”与“记忆”的强度控制——迁移到特征交互的记忆模块，例如在 Deep Interest Network 中，用独立的通道门控来更新交叉特征的记忆，提升对用户长期偏好的捕获。
- 并行化训练的工程借鉴：论文推导的 chunkwise WY 算法和门控感知反向传播可直接用于大规模推荐模型的序列训练，在不牺牲模型表达能力的前提下大幅提高训练吞吐，适合线上内容快速迭代。
- Agent 工作记忆的维护：在多智能体系统中，该技术可用于维护上下文压缩后的记忆状态，通过解耦擦除和写入，实现对对话历史、环境状态的精准增量编辑，增强 Agent 在长对话或复杂任务中的上下文跟踪能力。
文本引导的视觉表征学习：电商多模态推荐中稳健应对促销遮挡
🧭 生成式推荐 · 多模态表征 · 双流视觉连接器 ★ 深度解读
Tsinghua University · JD.COM
用结构化元数据引导视觉 token 提取，双流解耦并门控校准，显著提升海报式商品图的检索鲁棒性。
📌 工作参考价值（4 点）
- 双流视觉解耦 + 可靠性门控：将视觉证据分为元数据锚定流和探索流，并通过 cSigmoid 门控进行通道级校准，可迁移到任何多模态商品 embedding 的视觉侧，解决营销图像干扰问题。
- 用标题信号衡量图文一致性：利用 CLIP 全局嵌入计算 image–title 余弦相似度作为门控输入，无需额外标注，可直接用于电商场景的视觉质量判定和自适应融合。
- 冗余缩减正则鼓励互补性：对双流输出做跨流同维去相关，避免两路学到冗余信号，增强联合表征的信息量，适合在对比学习框架下提升检索泛化。
- MLRM 范式优于端到端 MLLM：同等视觉编码器下，轻量连接器 + 检索优化 LLM backbone 的推理 FLOPs 仅需 35G，比 2-4B MLLM 低 8-20 倍，而 Hit Rate 高出 3-5 个绝对点，为工业 I2I 召回提供高性价比方案。