LatentLoop：非对称计算分配的循环 MoE 模型规模化
🧭 循环 MoE 训练 · 非对称计算分配
SJTU · Shanghai AI Lab · USTC · CUHK · NTU
提出 LatentLoop，压缩首轮循环序列、保留次轮全分辨率，将省下算力重分配给隐藏宽度，在相同预算下降低 NLL 并提升下游基准
📌 工作参考价值（4 点）
- 在用户行为序列建模中，可借鉴 LatentLoop 的非对称计算分配：对长序列第一轮使用压缩表示（如 latent 投影或 token 合并），第二轮保留全分辨率，并将节省的 FLOPs 转向加宽 hidden size，而非直接降低延迟；这可在相同推理预算下提升模型质量。
- 用可学习残差系数诊断循环 Transformer 各次访问的贡献，识别可压缩的浅层/首轮访问，指导剪枝或低精度量化；固定系数实验结论“首轮可压缩、次轮不可压缩”可作为先验。
- 在 MoE 推荐/广告模型中，专家 FFN 权重可跨不同序列分辨率共享，但 attention 参数应独立，以适应压缩后序列与全分辨率序列的差异；这比全共享更细粒度，利于多尺度特征融合。
- 面向资源受限的线上推理，可先对输入序列做低秩/降采样压缩并分配给第一层，保留关键的后期层高分辨率，配合专家共享减少参数和 FLOPs；这比均匀缩放更有效，有潜力用于生成式推荐的大模型加速。
WORKFORGE：从真实资源构建可验证长程工作智能体环境
🧭 Agent 长程工作环境合成与训练 ★ 深度解读
Tencent · Fudan University
提出 WORKFORGE，从真实工作资源合成可验证环境并生成训练轨迹，大幅提升长程智能体能力
📌 工作参考价值（4 点）
- 业务中构建 agent 训练/评测环境时，优先使用真实业务文件（报表、素材、SOP、数据表等）而非 LLM 合成，保留真实噪声和跨文件依赖，能显著提升 agent 在真实任务上的泛化。
- 采用「专家 workflow blueprint → 资源检索 → workspace profiling → 任务+验证器生成」流水线，把专家经验变成可复用模板，批量产出带隐藏解法和双验证器的训练样本。
- 用 workspace 可观察事实锚定任务规格与验证标准，避免 LLM judge 产生无依据的评分要求；轨迹筛选时混合 programmatic + semantic 分数，优于单一验证。
- 数据量和交互轮数均呈现 scaling 收益：优先收集长轨迹（41-60 轮 > 0-20 轮），训练序列长度放至 256K 并保留每轮 assistant loss；训练与评测 harness 对齐可带来额外提升。
Agensh：将组织智能扩展至1024个智能体
🧭 多智能体自组织协作扩展 ★ 深度解读
Microsoft Research
去中心化自组织多智能体框架，无中心协调者扩展到1024 agents，长程重建任务成功率随agent数量提升且更快达标
📌 工作参考价值（4 点）
- 去中心化任务自组织：在选品、搜索 query 挖掘、商品知识库构建等需要大量并行探索的场景中，用 shared context 中的 CLAIM + 类型化记录替代中心 planner，能避免单点瓶颈；尤其 FAIL 记录可以防止多个 worker 重复尝试无效方案。
- 用成熟组件搭 multi-agent 基础设施：Git / Gitea 做 workspace，Mattermost 做消息，append-only board 做共享记忆，工程成本低且原生支持并发合并与冲突检测；电商 Agent 并发修改商品文案、活动页时可直接借用。
- 消息分级与 mid-turn 注入：对冲突或依赖用 direct message 在当前 turn 送达，普通公告在下一回合开始处理，能显著降低协调延迟；适合实时广告调价、大促实时选品等对延迟敏感的业务。
- 规模化带来“更快达到同一效果”：如果业务任务有硬时间预算，增加并发 worker 数不仅提升最终质量，还能缩短达到给定质量的时间；可尝试从少量 Agent 扩展到 100+ 做长程生成式任务。
MoME：上下文感知稀疏查找的混合记忆嵌入
🧭 上下文感知稀疏记忆嵌入
University of British Columbia · Vector Institute for AI · Canada CIFAR AI Chair · NSERC CRC Chair
MoME 用上下文门控选择 M 个记忆槽的混合，取代单一行记忆，在 iso 参数/FLOP 下优于现有稀疏记忆基线，并改善 scaling 趋势。
📌 工作参考价值（4 点）
- 在 LLM4Rec / Query 推荐等场景，可将类目、品牌、高频 query 模板等静态知识注入 token 级条件记忆：用 MoME 式混合门控取代固定 embedding lookup，按上下文选择多个 slot，能区分“苹果”手机与水果等多义 token，提升下游意图理解。
- 在线 serving 需要低延迟稀疏查找时，条件记忆比 MoE 更便宜；MoME 的推理开销接近简单 embedding lookup，适合在推荐/搜索模型里增加轻量领域记忆，而无需承担 expert 路由与全激活成本。
- 对于搜索 query 生成/改写，可借鉴其多槽分离机制，将同一 surface token 的多种语义分开存储，由 learned gate 自动识别意图；定性结果显示路由具有可解释性，有助于后续分析或人工干预。
- 工程实现上注意 slot 数 M 与训练 FLOP 的平衡：MoME 在 sub-billion 规模下 memory-size scaling 趋势更优，说明在中小规模模型上增加记忆容量比扩大 dense 参数更具性价比。
从语言到行为：面向工业推荐排序的推荐原生序列 Transformer 扩展框架 ReST
🧭 序列 Transformer 推荐排序 ★ 深度解读
ByteDance
提出 ReST，用双门控注意力、RoPE+RoTE、SRN 与共享前缀编解码，把行为序列 Transformer 扩展到生产排序并获在线收益。
📌 工作参考价值（4 点）
- 训练期加 auxiliary sequence CVR head 是低成本缓解 sequence starvation 的实用 trick：只用序列表征 + 广告/商品特征做 BCE，λseq=0.1 即可让序列 encoder 梯度 norm 提升 3 倍以上，离线 AUC 在多个 backbone 上稳定 +0.07~0.22 pct；在 hybrid DLRM 排序里能直接复用。
- 时间注入别只当 side feature：RoTE 用 rotary 方式按 head 分配秒/分/时/天/周/季/年多粒度物理时间，兼容 FlashAttention；比仅加 delta-time 特征多带来约 +0.04~0.12 pct AUC，适合有强时间敏感性的电商/广告行为序列。
- 双门控注意力只需 value gate + output gate 且用 sigmoid，就能以约 7.5% FLOPs 换 +0.06% AUC；QKV 全门控更贵但收益不增。噪声大的点击/浏览序列建模可以优先试 O+V gate。
- 架构上把能力分配给候选侧轻量 decoder 而不是继续堆 sequence encoder：projection-free KV 复用 encoder memory、token-specific parameterization 保持容量；encoder 加 MoE 多 500% 参数却 0 收益。训练用 user-level shared-prefix 提 5.8x 吞吐，serving 共享 prefix 最多降 20x 序列计算，适合候选量大、user history 长的排序场景。
丰富-检索-排序：超越上下文路由的规模化能力发现
🧭 Agent 能力发现 · 检索-重排 ★ 深度解读
Amazon AGI
将 Agent 能力发现重构为离线丰富+在线检索-重排，在 7,278 个工具上以约一半成本领先 Search&Pick 6.5pp，并比全量上下文便宜 70 倍
📌 工作参考价值（4 点）
- 如果业务里要用 LLM 从上千个 API/agent/tool 中选调用，不要让它读全量 registry：改为 BM25+dense 召回 top-15，再单次 LLM listwise rerank。这样成本与 registry 规模解耦；Nova Micro 扫描显示单阶段全量路由在 N≈500 后崩，可作为架构切换的经验阈值。
- 离线把稀疏的 item/tool 元数据改写成结构化 profile（summary、action-led description、keywords、正/负 usage examples）一次完成，供检索和 reranker 共用。干净公开数据上 enrichment 无收益（甚至 -4.4pp），但元数据只剩 name 时 Match@1 +25.6pp、Recall@15 0.134→0.467；先评估自家商品/工具 metadata 稀疏度再决定是否上。
- 做错误归因：约70%的大规模 miss 在 retrieval，换更强 reranker 只 +3pp。优先提升一阶段召回（hybrid、更好 dense encoder、字段加权）而不是继续优化 reranker prompt。
- 打分信号可设计成可插拔加权：LLM 0.50 + BM25 0.05 + Quality 0.30 + Intent 0.15，字段缺失自动 renormalize；在有 trust/type 元数据时 Quality+Intent 额外 +4.5pp。这种统一配置可以跨 tools/agents/skills 复用，避免每种能力单独调参。
可变宽度 Transformer
🧭 Transformer 架构优化 · 宽度缩放
MIT · MIT-IBM Watson AI Lab
提出 × 形瓶颈架构，中间层窄、两端宽，同等参数量下性能更优且推理成本更低
📌 工作参考价值（4 点）
- 将瓶颈结构引入大模型，可减少推荐/搜索系统中 LLM 的显存和计算开销，尤其对需保留 KV cache 的在线服务有利
- 无需额外参数的残差维度映射方法可直接复用到现有 Transformer 推荐模型（如 SASRec），通过非均匀宽度提升效率
- 对于 Agent 中多次调用 LLM 的场景，可降低单次推理延迟与成本，加速多步决策
- 提示我们在设计生成式推荐模型时，不必每层等宽，中间层适当缩减可兼顾容量与效率
PEFT 的三轴缩放：万亿参数基础模型支撑百万持久个性化模型
🧭 PEFT 缩放 · 个性化模型 · LoRA RL ★ 深度解读
Mind Lab
通过 Scale Up（强先验）、Scale Down（小型稳定适配器）与 Scale Out（适配器种群）三轴协同，让 LoRA 在万亿 MoE 上实现低成本、可持续的个性化 RL 更新与集体智能。
📌 工作参考价值（4 点）
- 用户级 LoRA 适配器：电商推荐或 Agent 系统可对每个用户或 Agent 实例维护一个 LoRA adapter，仅更新 <1% 参数即可捕获长期偏好、技能或工具使用习惯，成本远低于完整模型微调。
- RL 训练的稳定初始化：在 RLHF 或 RLVR 场景中，极低秩 adapter (rank=1) 的初始化不能简单复用 SFT 下的 SVD 初始化，应使用控制初始更新幅度的 RL-native 方法（如 OLoRA-tail），避免策略漂移导致 KL 崩溃。
- 多 Adapter 投票提升决策质量：当存在多个来自不同用户或 Agent 的 adapter 时，可借鉴论文中基于多样性的大数投票机制，聚合多个适配策略输出，在推理阶段获得集体智能收益（AIME24 准确率从单模型 36.4% 提升到 198 模型的 48.7%）。
- 训练–推理一致性：大规模 MoE 部署个性化模型时，路由差异会导致训练策略与线上策略不一致，采用 Router Replay R3 等技术记录并回放路由决策，可保证 RL 更新的有效性。