CUA-Master：开放世界递归改进驱动的计算机使用智能体扩展
🧭 CUA 数据飞轮与递归训练
MMLab, CUHK · THU · HKUST(GZ) · Explore Academy · JD
提出嵌套双循环递归改进框架 CUA-Master，结合开放世界数据与自催化传播，显著提升 GUI 智能体性能。
📌 工作参考价值（4 点）
- 构建双循环数据飞轮：外层利用开放世界语料和模型弱点指导数据迭代，内层从教学视频提取真实工作流作为种子任务，通过视觉-语义双路径重建轨迹，可迁移到电商 RPA/后台自动化数据生产。
- 自催化传播：将种子任务提炼为可重用原语（primitives），可控合成多样、复杂、可验证任务，适合生成大规模 GUI 操作训练集，降低人工采集成本。
- 快照回滚重试机制：在真实环境中通过反馈引导快照与回滚，提升轨迹收集的成功率和可靠性，可用于线上 Agent 执行时的容错与数据回收。
- 结果证明递归迭代可带来持续增益，CUA-Master-27B 在 OSWorld 等 benchmark 达到 80.2，说明中等规模模型配合高质量数据合成可逼近大模型，适合资源有限的业务团队。
多视角 MoE：让每个路由头共同塑造专家计算
🧭 稀疏 MoE 多路由与视角混合 ★ 深度解读
Baidu ERNIE Team
通过多路由聚合与路由偏好驱动的专家输入混合，在固定专家预算下提升稀疏 MoE 选路与表达能力
📌 工作参考价值（4 点）
- 如果线上大模型采用 MoE 推理，可在不增加专家 FLOPs 与 all-to-all 通信量的前提下，仅增加约 0.19% 参数，通过多路由头求和与多视角输入混合获得稳定下游收益；对固定延迟预算的搜索/推荐大模型升级较友好。
- 借鉴 score-conditioned input mixing：对每个选中专家，用其跨路由头的归一化 sigmoid 分数混合多个 latent view，在同一 token 下让不同专家看到不同输入；实现时在 dispatch 前完成混合，保持通信量不变。
- 路由诊断可复用：用 dense evaluation 计算所有专家输出 L2 norm 归一化后与 router score 的 Spearman 相关性，定位中深层选路与真实专家效用弱对齐的层；发现弱对齐后针对性地引入多路由或重新训练。
- 从已有 LatentMoE 或类似 checkpoint 升级时，保留 backbone 投影为 View 1，其余视图用 ramp perturbation 从零逐步放开，能在不明显破坏初期训练的情况下平滑加入多视角能力。
BRANCH-MoE：面向大规模嵌入模型的平衡感知树路由
🧭 MoE 树形路由与负载均衡 ★ 深度解读
Google Research · University of Southern California
提出将专家置于二叉树叶节点的BRANCH-MoE，用到达加权EMA锚点在没有辅助损失的情况下保持负载均衡并诱导共路由局部性
📌 工作参考价值（4 点）
- 在大规模 CTR/推荐模型中用 MoE 做稀疏专家时，可把 flat top-K 门控换成树形路由：每个内部节点用到达加权均值做 score 中心化（训练用 batch 均值，推理用 EMA），可省掉 auxiliary load-balancing loss 及其调参，同时降低子树饿死风险。
- 树路径天然给出专家二进制地址，可按 prefix 把专家/embedding 分配到设备或参数服务器域；推理时可依据上层 margin 预判是否跨域通信，降低 token 分发成本，适合多级缓存/分片的大规模稀疏 embedding 部署。
- 工程实现上：线性 node map 的树结构局部性最强（UCI 上树距离 0.71 vs 随机 0.817）；换成 MLP 会削弱局部性并提高 load CV，需在目标数据上验证。对输入特征要避免稀有二值列被 z-score 放大成巨大 spike，否则会诱导专家 collapse（Covertype 上需 pin 低方差列）。
- 该方法无辅助损失即可均衡负载，但 Criteo 上 load CV 高于 flat 方法（0.115 vs ≤0.006）；若业务对 per-batch 均衡极敏感，可能仍需要 capacity factor 或调度兜底。
LoGRA：用低秩梯度草图扩展LLM强化学习
🧭 RL训练内存优化 · 低秩梯度草图 ★ 深度解读
NVIDIA
通过低秩梯度草图压缩RL训练中的梯度和优化器状态，配合预测KL步长控制，大幅降低内存占用
📌 工作参考价值（4 点）
- 资源受限下的RL训练：电商/Agent场景若需对LLM做RL后训练但GPU显存有限，LoGRA能以约45%的内存节省保持性能，可让原本OOM的模型规模落地，适合中小团队。
- 预测KL步长控制：将每次更新的策略偏移限制在预设KL预算内，避免策略突变导致已学行为崩溃。在推荐/Agent在线持续学习中，可将该机制用于策略更新的稳定性控制。
- 梯度压缩与同步复用：LoGRA的压缩更新（低秩因子）可直接用于rollout策略同步，减少通信开销。分布式训练或多智能体协作中可借鉴：用低秩因子传输更新，降低网络负担。
- 注意rank选择：论文消融表明投影秩对性能影响最大（秩4→256提升约3个百分点），而投影矩阵刷新与否影响很小。在实践中应优先调大rank，无需频繁刷新投影。
硬件感知的 FP4 FlashAttention-4：全 FP4 前向推理与量化反向传播
🧭 Transformer 注意力 FP4 量化加速
Graphcore Research
Direct-P 将注意力分数直接映射为 FP4 概率，GB200 上前向吞吐达 BF16 的 2.13 倍，8B 模型训练更新加速 1.14 倍
📌 工作参考价值（4 点）
- 推荐/广告场景中大量使用 Transformer 处理用户行为序列，注意力算子是性能瓶颈；Direct-P 将 softmax 后的概率直接量化为 FP4，避免中间 FP32/FP16 转换，可显著提升在线推理吞吐、降低时延。
- 训练侧采用“前向量化 Q/K，反向重建概率并使用 FP8 梯度操作数”的混合精度方案，比直接使用 FP4 概率/值更稳定；实际部署时可借鉴该方案避免训练发散，同时获得 1.14 倍的 8B 模型更新加速。
- 若业务使用长序列注意力（如用户行为序列、会话建模），可评估 FP4 注意力对精度的影响；论文结果表明概率 FP4 量化在非因果推理下可行，但训练中 MXFP4 概率/值易发散，需谨慎验证。
- 工程实现上，可将注意力中间结果（概率矩阵）显式量化并落到片上存储，减少 HBM 读写，类似 FlashAttention 的 tiling 策略与 FP4 结合能榨取 Blackwell 张量核性能。
DeltaMomentum：基于键值的各向异性动量更新
🧭 优化器动量更新 · Delta Rule
Electrical and Computer Engineering, Carnegie Mellon University
把线性层梯度拆成 key-value，用 delta rule 做方向感知动量更新来加速训练收敛
📌 工作参考价值（4 点）
- 推荐系统特征通常极度稀疏/长尾，例如 user/item id、类目等输入方向的频率高度不均。DeltaMomentum 可直接替换现有优化器的动量 buffer，对高频方向自动降低遗忘、低频方向加快遗忘，特别适合 embedding 层和 wide 部分；无额外持久内存，可在排序/召回模型训练中验证步数节省。
- 若业务在用 LLM 做生成式推荐或领域模型预训练，可在 AdamW 上启用 DeltaMomentum，论文在 67M/370M 语言模型上分别减少 46%/22% 达到同验证损失的步数，对固定算力预算下扩大模型或数据量有直接价值。
- 工程实现注意：额外计算约为 gated-MLP 线性层成本的 22-25%，无 persistent memory；但方法基于线性层 key-value 结构，对 attention 等非简单线性部分需适配，建议先在 MLP/embedding 层替换。
- 调参经验：系数在 μP 下可跨宽度迁移，若业务使用 μP 训练超大规模模型，能用小模型调的系数直接放大，降低调参成本。
Search-GRT：用 ground truth 引导检索训练，提升搜索 Agent 多跳问答能力
🧭 搜索 Agent 强化学习训练优化 ★ 深度解读
Samsung Electronics AI Center-Mountain View
在 RL 训练中利用 ground truth 约束检索候选集，提供更强学习信号，多跳 QA 性能提升超 40%
📌 工作参考价值（4 点）
- 利用业务 ground truth 缩小检索空间以提升 RL 训练效率：在电商搜索或推荐多跳推理场景，若拥有用户点击/购买日志等强相关 item 集合，可构造受限检索池，集中训练信号，缓解早期稀疏奖励问题。
- 将“检索约束”作为课程学习策略：在复杂 query 改写或对话式推荐训练初期，用已知正确文档或商品限制候选范围，待 agent 学会提取有效子 query 后逐步放开，类似 GRT 仅在训练时约束，推理时仍用全量索引。
- 借鉴 GRT 的奖励设计：基于答案绝对匹配的 0/1 奖励简单高效，结合检索准确率与最终答案准确率的监控，能快速诊断 agent 的检索与合成短板。
- 工程实现上可复用文本嵌入相似度构建受限语料：用业务中已有的 query/商品/文档 embeddings，基于 ground truth 答案或关键信息，动态选取 top-k 相似文档作为训练时的检索池，无需额外标注。
Orchard：开源可扩展代理建模框架
🧭 Agent ★ 深度解读
Microsoft Research · Columbia University · UIUC
提出轻量级环境层 Orchard Env 实现跨领域、跨训练阶段的 SFT+RL 代理训练，在 SWE-bench 和 GUI 基准上达到开源最优