从训练数据学到的 token cue 激发基础模型推理
🧭 LLM 推理行为与训练数据关联
MIT · UC Berkeley · University of Washington · Allen Institute for AI
固定特定起始 token cue 可使 base model 推理性能接近 RL 模型，该效应源于训练数据关联
📌 工作参考价值（4 点）
- 在搜索推荐、电商问答等提示工程中，可对输出起始 token（如 "Alright,"、".\n\nOkay"）做批量 A/B 测试，固定有效 cue 提升 base model 的推理质量，避免依赖 RL 训练成本。
- 若业务中 RL 训练的推荐/策略模型相比 base model 有显著提升，可分析其输出前缀 token 分布，将高频有利 cue 固定到推理流程中，部分回收性能增益。
- 遇到模型输出不符合预期（如推荐理由弱、拒绝率异常），可通过数据干预手段在训练数据中增删特定 token 关联，低成本调整行为，无需重新预训练。
- 安全合规场景需注意：token cue 可能被操纵以绕过拒绝行为，评测时应覆盖多种 cue 下的安全表现，避免只测试默认提示。
CutBCE：大词表序列推荐的高效 BCE 损失与梯度内核
🧭 大词表 BCE 训练优化 · TPU Kernel ★ 深度解读
Google Cloud
CutBCE 通过分块重算与稀疏修正避免 [B,N,V] logits 驻留 HBM，在 876k 词表上将训练显存降 65.7%、速度提 225.9%
📌 工作参考价值（4 点）
- 训练多标签召回/序列模型时，用分块 BCE：把 BCE 写成 max(x,0)+log(1+e^{-|x|}) 减去 y*x，按 vocab chunk 计算并立即释放，避免 [B,N,V] logits；PyTorch 里可实现为 chunked loss 或自定义 autograd.Function。
- 反向不要存完整 logits：自定义 VJP/rematerialization 只保留 activations、embedding 和稀疏 target IDs，逐块重算 logits 和梯度；对电商百万级 catalog，这是时间换空间，在 TPU 上因减少 HBM 往返甚至更快。
- 如果部署在 TPU/JAX，可以用 Pallas 把 embedding 梯度累积在 VMEM，降低 HBM 读写；动态查询 VMEM 预算并做序列 chunking，分布式训练用 shard_map 显式控制 psum 和 vocab_offset。
- 训练监控用 count-based 指标：前向直接统计 TP/FP/FN/TN 获得 accuracy/precision/recall/Fβ，不要为监控重建全量 logits，保持低显存。
大规模激活的生命周期：随机诞生、权重衰减驱动的增长与竞争性巩固
🧭 Transformer 训练动态 · 激活规模调控
Aimpoint Digital Labs, Atlanta, GA, USA · Mistral AI, Paris, FR · New York University, New York, NY, USA
揭示 transformer 中 massive activations 由 AdamW 预条件增长与 weight decay 平衡驱动，权重衰减控制其峰值与衰减
📌 工作参考价值（4 点）
- 在微调 LLM 或生成式推荐模型时，若发现 attention sink 激活异常，可通过增大 weight decay 压制峰值；继续预训练时降低 weight decay 则允许 large activation 继续增长，需结合梯度流稳定性权衡。
- 监控 residual stream 激活时不要只看单个 channel，应关注 sink token 的 collective RMS：梯度衰减由整体规模决定，单通道指标会误导。
- 在做量化或 KV cache 优化前，先检查 massive activation 的规模；weight decay 调度可作为训练期控制激活量级的杠杆，避免异常激活导致量化误差或注意力偏差。
- 对训推一体的推荐/Agent 系统，AdamW 的 weight decay 系数可影响模型激活分布，进而改变推理时 attention sink 强度，需要纳入超参搜索范围。
低精度RL中方向感知的Learner-Sampler失配稳定化（TRIAGE）
🧭 低精度 RL 训练稳定性 ★ 深度解读
InfiX.ai · NVIDIA
提出TRIAGE，通过方向感知门控与修复稳定NVFP4强化学习，实现近BF16性能与2.3倍rollout吞吐
📌 工作参考价值（4 点）
- 在生成式推荐/Agent RL 中采用低精度（FP8/NVFP4）加速 rollout 时，不要只按 importance ratio 的 magnitude 做 TIS，应结合 advantage sign 和 learner-sampler gap 的符号，选择性抑制会放大 mismatch 的更新方向（A<0 & δ<0）。
- 用 segment 级（如 64 tokens）而非 response 级或 token 级统计来诊断训练-推理不一致，能更早发现局部风险，避免全局均值掩盖崩溃前兆。
- TRIAGE 的 bounded repair 设计可借鉴：只在 positive advantage responses 上施加 pseudo-Huber penalty，使修复项与 reward 方向一致，不与 policy gradient 对抗。
- 保留 native 低精度前向，仅修改 loss/优化目标，可兼顾吞吐与稳定性，适合大规模线上 RL 训练。
分布鲁棒的混合专家训练
🧭 MoE训练 · 分布鲁棒优化 ★ 深度解读
New York University
提出DRMoET，将MoE专家作为内生DRO组，动态加权高损失路由结果，提升路由鲁棒性和下游性能
📌 工作参考价值（4 点）
- 在电商/广告的大规模MoE推荐模型中，可在现有负载均衡之外引入DRMoET式的专家级损失加权：用EMA平滑的激活加权损失动态调整每个专家的训练权重，无需修改前向路由，即可提升非热门专家在流量波动或分布偏移时的表现，降低线上指标抖动。
- 将「内生组DRO」思想迁移到多任务学习或用户分群：不依赖预定义分组，而是根据模型当前的路由/分配结果动态识别高损失子群，进行针对性加权，比固定分组更适应数据分布变化。
- 工程实现上，该方法只需维护每层专家数的EMA状态和权重（O(LE)标量），计算开销可忽略，且权重detach避免干扰主损失；可低成本部署到现有训练框架，作为对load-balancing的补充。
- 用forced misrouting probe（强制选择中位专家）评估模型对非最优路由的鲁棒性，可作为线上路由策略变更前的离线诊断工具。
供给感知的旅行搜索冷启动主动查询建议框架 SCOUT
🧭 生成式 Query 建议 · 供给感知 RL ★ 深度解读
Airbnb, Inc.
用搜索重排分作免费 RL 奖励，GRPO 把供给感知压进 LLM，零推理成本追平 best-of-8
📌 工作参考价值（4 点）
- 可直接复用「用生产重排器 query-listing 匹配分作为 RL 奖励」：相比在线跑 best-of-N 或 LLM judge，重排分在 serving 路径本来就会算，奖励零额外推理；电商搜索/推荐可把现有 ranking model 的 relevance score 拆出来当密集奖励，降低训练成本。
- 冷启动无点击日志时，可用历史结构化请求（目的地/日期/人群等筛选条件）作为 context 主动生成 query，并用当前 catalog 检索 top K 后做离线 inventory/diversity 评估；这对新入口、新场景的无样本 bootstrapping 很实用。
- 若用 DPO 做生成式 query 对齐，注意 diversity collapse 风险；本文中 DPO 的 distinct%@0.9 掉到 11.07，RPO 加辅助 SFT loss 能恢复，GRPO 则天然更稳。业务里偏好优化建议优先 GRPO 或 RPO，而不是裸 DPO。
- 把 serve-time best-of-N 的验证成本「一次性摊销进模型权重」可成为部署架构：训练时用 search engine 做 environment 在线 rollout，线上不再多次检索；对 latency 敏感、库存/广告供给受限的搜索推荐链路很有借鉴意义。
HERA：可靠 Agent 弃权的 Harness-环境协同进化框架
🧭 Agentic Abstention · 环境协同进化
University of Washington · University of Leeds · Carnegie Mellon University · Stanford University · Allen Institute for AI
提出 harness 与环境协同进化框架，自动构造可行/不可行任务对，弃权准确率提升至83.3%，跨19个LLM平均提升15.3个百分点
📌 工作参考价值（4 点）
- 构建 Agent 拒答能力：借鉴 HERA 的受控环境变异，对正常可完成商品查询/推荐任务注入库存为零、优惠冲突、参数不合法等扰动，自动批量生成不可行任务对，用于训练或评测 Agent 在缺货、超范围请求时主动弃权/澄清，而不是硬给一个错误推荐。
- 分离 harness 与模型：优化与底层 LLM 解耦的 Agent 控制层（系统提示、工具 schema、终止条件、校验规则），可跨模型复用。HERA 显示优化后的 harness 在 19 个模型上平均提升弃权准确率 15.3%，且小模型搭配优化 harness 可达到大模型效果、成本降 85%，适合电商低成本多模型部署。
- 协同进化环境生成：将线上 badcase 反馈到环境变异器，定向生成针对薄弱点的困难场景（如长尾商品属性缺失、组合优惠冲突），用于持续微调 Agent 行为或补充回归测试集，比固定测试集更能发现边界失效。
- 双指标监控：将可行任务完成率和不可行任务弃权准确率分开评估，避免只优化完成率导致 Agent 在不可行任务上强行输出。在电商推荐 Agent 中，应同时监控“该推荐时推荐”和“该拒绝时拒绝”两个指标。
HLA：基于分块动态混合的高表达混合线性注意力
🧭 高效长上下文注意力机制 ★ 深度解读
Monash University · Zhejiang University
将历史 chunk 表示为仿射转移并用查询相关门控动态混合，提升长上下文检索
📌 工作参考价值（4 点）
- 对长序列用户行为/会话建模：可将历史按固定长度切 chunk，用 self-attentive pooling 得到 chunk 代表向量，再基于当前 query/item state 计算 sigmoid 门控，稀疏选择相关历史 chunk；论文中 chunk size 256、pooling window 32 是最优 trade-off，可作为初始超参。
- 工程上：HLA 用 chunk 级仿射转移 (A_j,B_j) 压缩历史，缓存规模为 N(d^2+Pd)，chunk=256 时比匹配 KV cache 省 50%；推理时权重<0.1 直接置零且不重新归一化，可跳过零权重状态转移，适合长会话推荐或 Agent 记忆系统做稀疏检索。
- 训练目标：用 effective support（Hill number）构造 L_budget/L_support，鼓励每个 query 只路由到少量历史 chunk，提升推理稀疏性和长程泛化；业务上可只训练 router、冻结 backbone，低成本改造已有 GDN/线性注意力模型。
- 局限：论文未评测 Agent 多轮工具调用、持续记忆等场景，且推理延迟增加约 10–19%；若用于长程 Agent 记忆或电商超长上下文排序，需自行补充多轮、跨任务、工具反馈评测。
HuatuoGPT-3：从基础模型出发的纯RL领域自适应
🧭 RL-only 大模型领域自适应训练
The Chinese University of Hong Kong, Shenzhen · Shenzhen Research Institute of Big Data · Shenzhen Loop Area Institute · National Health Data Institute, Shenzhen
提出OnePO，以自适应目标演化和教师退休实现RL-only领域自适应，在医学上用20K样本超越SFT+RL和纯RL
📌 工作参考价值（3 点）
- 借鉴 Teacher Retirement 机制：在 RLHF/LLM 微调时，若策略模型在验证集上的奖励或质量指标已稳定超过教师/参考模型，可自动切换为纯 on-policy 采样，避免陈旧教师分布限制探索，适合推荐文案、搜索 query 扩写等生成任务。
- Adaptive Objective Evolution 中强化低概率但有信息量的 token（如商品卖点、数字、属性词），可迁移到电商文案生成或搜索增强，让模型更准确覆盖关键低频 token。
- 仅用 RL 从 base model 开始领域适应，可减少 SFT 对生成多样性的压缩，对推荐理由、对话式推荐等需要多样性的场景有参考；但工程上需要解决冷启动，可采用教师输出作为快速启动的辅助数据。
面向 Agentic 强化学习的 MoE 专家选择结构化
🧭 Agent RL · MoE 专家路由控制 ★ 深度解读
Apple · Purdue University
提出分层路由控制框架，用操作感知互信息与令牌级一致性约束，提升 Agentic RL 成功率与推理吞吐
📌 工作参考价值（3 点）
- MoE 专家选择可以用 agent 轨迹中的 operation 语义（READ/CREATE/UPDATE）做监督，电商搜索/推荐 agent 也可以按意图或工具类别进行专家对齐，提升长程任务成功率和推理速度。
- token 级一致性控制用“相邻 top-k 专家集 Jaccard 距离阈值”选择性回拉，比强制统一更稳定；可搬进多轮 search/agent rollout 中降低专家切换开销、提高吞吐。
- 添加辅助路由 loss 容易引发 RL 训练崩溃，可用 policy entropy 高低门控关闭路由梯度；这个工程 trick 对 MoE 后训练很实用。
MiniCorp：AI Agent 公司模拟器与纵向反事实数据生成
🧭 多智能体企业模拟与数据生成
Microsoft · University of Illinois Urbana-Champaign · Princeton University · Northeastern University · UCLA
构建电商公司多智能体模拟器，生成纵向反事实企业数据，用于训练和评估能自主运营的 Agent
📌 工作参考价值（4 点）
- 构建“模拟器+真实业务反馈”沙盒：在电商场景中，可建立市场模拟器生成反事实数据，用于训练决策 Agent，避免直接在生产环境试错。
- 使用 checkpointing 机制回放同一情境的不同决策，对比长期效果（如广告预算、定价策略），弥补历史日志无对照组的缺陷。
- 显式注入长期战略目标（如持续探索弱回报广告）可以防止 Agent 短期优化，对电商中需要平衡探索与变现的场景（如新品冷启动）有直接借鉴意义。
- 按角色划分多 Agent 并记录通信过程：内部世界按市场、财务等角色分工，记录讨论内容，便于审计和策略优化，也可作为 prompt 设计参考。
能力驱动的 Agent 记忆自进化
🧭 Agent 记忆自进化 · 能力驱动 ★ 深度解读
University of Science and Technology of China · Microsoft · University of California, San Diego
将整体性能搜索分解到能力维度，通过能力专家与痕迹引导集成，在百万token基准上比最强基线高7.83–10.54个百分点
📌 工作参考价值（5 点）
- 把记忆系统拆成 Extraction / Indexing / Planning / Retrieval / Answer 五个可独立修改的接口，让 LLM 只局部改出问题的组件，避免整体重写；可直接迁移到电商 Agent 的记忆或检索模块自动调优。
- 不要只用整体指标指导进化，按能力维度（事实检索、时间追踪、偏好提取、多会话合成、对抗性）各自维护 specialist，保留被整体分数掩盖的局部增益；这在多目标冲突严重的推荐/广告系统中尤其有用，能防止某个目标的小改进被其他目标回退淹没。
- 依赖感知能力选择：量化一个能力的缺陷对另一能力任务的错误压力（公式 1-6），优先改瓶颈能力；可用于多目标排序/召回策略的自动搜索调度。
- 用 paired differential cases 比较 base 与 specialist 在同一批 case 上的行为差异，再让 coding model 合并互补收益；适合集成多个推荐策略或记忆模块，比直接选择未探索方向更可靠。
- 工程降本技巧：紧凑诊断上下文可减少 44% token，revision-aware execution reuse 跳过未改动组件；适合工业级 Agent pipeline 的低成本自动调优。
你改了主意，模型没改：多轮对话中的意图解谜
🧭 LLM 多轮意图追踪与自蒸馏训练
HKUST · Tencent Hy
提出 Intent-Eval 揭示 LLM 将已拒绝/被取代内容当作有效需求，并用 Intent-OPSD 自蒸馏缓解意图混淆
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中显式维护 active intent 状态：用户说“换成蓝色”后又取消，不应把蓝色偏好带入后续推荐；可在 prompt 或上下文状态层标记 rejected/superseded，避免模型把“被提及”当成“仍有效”。
- 微调多轮指令跟随模型时可借鉴 Intent-OPSD：冻结同模型 Teacher 以最终决策和完整任务生成正确 active-intent 响应，Student 在含干扰的完整对话上做 on-policy self-distillation；有助于模型忽略被拒绝的中间变更。
- 构建多轮 Agent 评估集时加入 rejected proposal 和 superseded requirement 负样本，专门测意图混淆；这类错误在单轮指令遵循评测里不可见，但会影响真实转化与体验。
- 搜索/推荐澄清场景：用户多轮修正 query（如“不要红色，还是蓝色”）时，系统只应保留最终有效约束；可用版本化需求或 turn-level validity 标记，生成/排序前做一致性校验。
SearchJev：面向搜索 Agent 的快速且校准良好的 System-1 决策模型
🧭 Agent 双系统搜索决策加速与校准 ★ 深度解读
Huawei Technologies Co., Ltd. · Leiden University
将搜索 Agent 中的短决策与 System-2 生成分离，用 schema-conditioned logits 直接输出校准概率，实现 5.2-5.3 倍决策加速并提升端到端答案准确率
📌 工作参考价值（4 点）
- 把搜索/推荐链路中频繁的短判断（相关性、query 改写是否等价、意图分类、证据充分性、next action）从 LLM 自回归生成中拆出来，用同一个轻量模型基于 schema-conditioned first-token logits 直接做分类/打分，避免 JSON 解码，可显著降低线上延迟。
- 借鉴 SLCD：对不确定标注用 soft-label，训练时混合 cross-entropy + Brier loss，并按输出类型（Choice/Score/Noul）做 temperature calibration；这能提供更可靠的置信度，适合做置信度 gate、拒识或降级。
- 双系统架构值得迁移：System 1 出低延迟决策 + 置信度阈值，不置信时回退到 System 2（大模型）处理；在电商/广告的召回粗排、query 改写、相关性过滤等场景可以平衡成本与效果。
- 将异构标注数据统一成 state-schema 格式训练一个多任务决策模型，用 LoRA 微调小模型即可覆盖多种决策类型，降低多模型维护成本；对 unordered options 做 permute 可减少位置偏差。
搜索引擎从不说“不”：冻结 Agent 面对检索工具拒答时的反应
🧭 搜索 Agent · 工具侧拒答机制 ★ 深度解读
工具侧返回 NULL 拒答信号，让顺从 Agent 弃答率提升 243%，并给出按 recall 定价的收益曲线
📌 工作参考价值（5 点）
- 在电商搜索/导购 Agent 的检索出口加“拒答门”，不改模型和检索栈：对 Qwen3-8B/32B、Haiku 这类顺从模型，一句 NULL_RESULT + 解释就能把不可答问题的弃答率从 24% 拉到 84%、幻觉率从 65% 降到 10%，且可答准确率不降。
- 拒答 wording 必须放进 observation，不是 system prompt；效果排序 directive > explanation > bare token，soft warning 几乎无效。线上无货/无匹配结果适合写成“没有可靠结果，可能索引没有该信息；请换 query 或回答 unknown”。
- 对闭源强模型（Sonnet/Opus 5.5）工具侧拒答失效，它们更吃 system-prompt 指令（+16 点 vs 工具侧 +2 点）。多模型混合部署时建议按模型家族分别配置拒答策略。
- 真实收益受 miss-detector 的 recall 上限约束：在固定 false-refusal budget 下，弃答收益几乎由触发器 recall 决定。可先用轻量 QPP/交叉编码器，再按 recall-收益曲线判断是否值得上 LLM judge；detector 不行时改 agent 也白搭。
- 用删除黄金段落/答案串构造 index-hole 测试集，比人工标注便宜且边界干净；适合复用到商品知识库 RAG 的不可答样本评估。