On-Policy 蒸馏真的在蒸馏吗？从噪声教师到自改进
🧭 LLM 强化学习 · 零外部监督自改进 ★ 深度解读
Purdue University
揭示 OPD 增益主要来自抑制低概率 token 而非教师蒸馏；提出零外部监督的熵自适应负优势法 OPSA，AIME24 Avg@32 提升 263%
📌 工作参考价值（4 点）
- 在做 agent/LLM 策略后训练时，如果已使用 OPD/蒸馏提供 token 级信号，可先做噪声审计：统计 teacher 优势方向与最终 reward 不一致的比例；若噪声高，可直接对低 logp token 施加固定或熵自适应负优势，省掉 teacher forward 和 reward model，降低 off-policy mismatch。
- 对商品文案生成、query 改写等需要保持多样性的生成任务，可借鉴 OPSA 的 token 选择：只更新每个 rollout 中最低 20% log-prob tokens，避免高置信 token 的无效更新；同时在高熵位置施加更强负优势，抑制低概率 tail，保留 head 间概率重分配，防止 pass@k/多样性崩溃。
- 多轮购物导购、自动客服等需要长程推理和自我修正的 agent，可把 OPSA 作为廉价的 reasoning post-training 插件：不依赖外部 reward/hint，让模型在无标注下延长反思轨迹、提升最终答案质量；但要注意它主要重分配已有概率质量，初始策略过强或分布过尖时收益可能有限。
- 工程上可直接用 slime/Megatron 实现；无 teacher 额外 forward，训练吞吐优于 OPD，适合资源受限团队。
PaperGym：以评分量规为核心的科研计划生成进化训练框架
🧭 LLM 研究计划生成 · rubric 驱动 RL
Zhejiang University · Apple
把每篇论文拆成训练环境：问题来自目标/背景、标准来自方法/实验，用 rubric 做自蒸馏与 GRPO 奖励，显著降低泄漏并提升计划质量
📌 工作参考价值（4 点）
- 做 LLM 文案/query/商品标题生成的 reward model 时，别让 reward criteria 与训练样本来自同一段内容：把任务输入从目标/背景合成，评估标准从方法、实验结果或业务指标独立抽取，可明显降低 paraphrase leakage（PaperGym 降到 3.7%）。
- 奖励 rubric 不要拍平成一个标量：按方法创新、实验设计/业务效果、可执行性等维度分别计分，能抑制 reward hacking，并给 GRPO 更细的奖励信号。
- 两阶段复用 rubric 的训练顺序值得搬：先让 self-teacher 用 privileged rubric 做蒸馏（OPSD），再把它当 GRPO 奖励；类似电商文案训练可先提供高维商品属性/卖点做 SFT，再用多维评分做 RL。
- 把历史 campaign/实验报告变成 RL 环境：用 campaign goal/background 作为问题，用实际方法论与效果指标构造 rubric，可形成低泄漏的训练数据飞轮。
PLC-DPO：噪声与模糊偏好下的后验标签校正 DPO
🧭 LLM 偏好优化 · 标签修正
KAIST AI · KENTECH
利用校准的策略-参考边际把偏好对路由为 clean/flip/tie，主动校正标签方向与强度，提升 DPO 在噪声和模糊偏好下的鲁棒性
📌 工作参考价值（4 点）
- 若业务中用 DPO/RLHF 对齐 LLM 排序器、广告文案生成或 Agent 行为，可引入基于 policy-reference margin 的在线路由：margin 接近 0 或反向时按 tie/flip 处理，而不是硬训，能降低点击/转化等隐式反馈中的误标和争议样本损伤。
- 不必在数据清洗阶段一次性过滤可疑样本，而是在训练中动态估计并修正监督方向/强度；对搜索推荐中的点击 vs 未点击、或 LLM-as-judge 分歧样本，可构造 robust DPO 损失，减少 false negative/positive 影响。
- 对于电商多模态内容或 Agent 行为偏好冷启动，tie 路由提供更平滑监督，适合标注分歧较大的场景；可先做 human disagreement 分析，再设定 flip/tie 阈值。
- PLC-DPO 可直接作为 loss 层替换现有 DPO，无需改数据或模型结构，适合已部署 DPO/RLHF 的团队快速验证。
Qwen3.8-Next 架构设计：评估、效率与训练稳定性
🧭 大规模稀疏 MoE 架构与训练优化 ★ 深度解读
Qwen Team
稀疏 MoE 联合优化效果、效率与训练稳定性，在约 1/9 训练 FLOPs 下追平前代旗舰
📌 工作参考价值（4 点）
- 长序列用户行为建模/Agent 长期记忆：QSA 的压缩 lightweight indexer 在 micro-block 粒度打分，压缩比 r=4，索引成本从 O(n^2) 降到 O(n^2/r)，1M context 下 prefill 7.6×、decode 4.9× 加速，且短序列指标不退化。对电商历史行为序列、会话日志、Agent 记忆库读取等长上下文场景有直接借鉴价值。
- 外部容量扩展：n-gram embedding 表托管在 host memory 并异步预取，51B 参数几乎不增加 per-token FLOPs。推荐系统可借鉴其思路，将大规模 ID/属性交叉特征、低频但重要的记忆型特征放在 off-accelerator 表中，避免主模型算力膨胀；但要注意论文反复出现的结论——loss 单调下降不意味着下游指标同步提升，必须用业务指标单独验证。
- 训练稳定性与优化器：Muon 只用于 2D 线性映射权重，embedding/head/router/GR 低秩投影保留 AdamW；用 4× 最优学习率压力测试验证稳定性，提前暴露 spike 风险。大模型或大 embedding 模型训练时可复用该策略，减少对 qk-clip、SwiGLU-clip 等显式裁剪的依赖。
- 残差门控设计：GR 四分支 + elementwise 门控读取替代 pre-norm，去掉分支间 mixing 后既提升表达能力又减少显存流量。该思想可迁移到序列建模的残差路径；但论文也警示仅看 pre-training 指标会误判，sparse read 在后训练阶段退化就是反面案例。
RealSWE：真实用户请求下的编码智能体组合评估
🧭 Agent 评估与提示信息组合优化
Sungkyunkwan University
构建多变量基准RealSWE，发现真实请求使LLM编码性能平均下降6.4pp，且明确期望行为与动机可显著提升表现
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的对话式 Agent 或购物助手中，用户输入通常短且非正式，应通过追问或模板引导用户明确“期望行为”和“动机”，而不是补充环境信息或复现步骤；这些高信息密度字段能显著提升任务解决率。
- 设计 Agent 评估集时，可借鉴 RealSWE 的多变量任务家族思路：同一任务只改变信息构成和语言风格，能更稳健地测量模型对真实用户输入的适应性，避免仅用结构化基准数据高估能力。
- 对 prompt 工程中的上下文模块做消融测试：若某些模块（如环境信息、复现步骤）只增加 token 和延迟而无实际收益，应将其裁剪或折叠为可折叠摘要，降低推理成本。
- 训练或微调面向真实用户的 Agent 时，可加入非正式、缺失关键信息的样本，增强模型从简短输入推断意图和补全需求的能力。
S3Gym：LLM 能否将自测与自评判转化为自我改进？
🧭 Agent 自改进能力评估基准
ByteDance Seed · M-A-P · TokenWave.AI
提出 S3Gym 交互基准，分离自测/自评/自改进并对比三种经验利用路径，揭示自改进受任务结构制约
📌 工作参考价值（4 点）
- 在对话式导购/搜索 Agent 中，把交互经验拆成两类：可复用策略走摘要记忆（如用户偏好规则、常见失败模式），精确状态依赖走原始历史/显式状态，避免用摘要丢失关键上下文。
- 参数更新（微调/RL）自改进不稳定且易负迁移，业务上优先用上下文/记忆注入做快速迭代，参数训练必须配套严格 held-out 环境与小流量回滚。
- 设计 agent 自改进评估时，把探索环境与线上评测分离，用可执行验证器做沙箱诊断；重点关注模型能否把反馈转化为策略，而非只看成功动作识别率。
- 对推荐/广告场景的 Agent 策略优化，先判断任务结构：规则型任务可压成规则库，状态敏感任务保留轨迹；可借鉴 S3Gym 的评估协议做离线自我改进能力审计。
使用扎根理论对智能体行为进行大规模分析
🧭 多智能体扎根理论轨迹分析
Purdue University · Stevens Institute of Technology · Cornell University · University of Texas at El Paso · Johns Hopkins University
提出 AutoTraceGT，首个用多智能体流水线自动执行扎根理论分析智能体轨迹，生成行为分类法
📌 工作参考价值（4 点）
- 对电商搜索/推荐中的 Agent 轨迹（如购物助手、推荐对话、自动选品 agent）可部署 AutoTraceGT 自动生成失败/成功行为分类法，替代依赖人工标注 taxonomy 的冷启动。
- 借助扎根理论的饱和准则，用迭代编码自动判断何时停止标注，降低大规模轨迹审计成本，同时保留从数据到结论的可审计链路，便于业务复盘。
- 生成的 codebook 可作为下游失败预测的特征空间，显式提供可解释的行为维度；在缺少高质量标注时，其效果优于直接对原始轨迹做 zero-shot/few-shot LLM 判断。
- 该流水线能发现人工分类法遗漏的行为模式，适合探索推荐 agent 中长尾失败模式或新出现的异常行为，尤其是多步决策中的局部合理但全局失败链条。
WHALE：权重与执行框架交替优化的简单配方
🧭 Agent 权重与执行框架联合优化 ★ 深度解读
KRAFTON · KAIST · Stanford University
交替执行模型权重更新与 harness 搜索，实现 Agent 系统联合优化，大幅超越单组件和 prompt 级优化
📌 工作参考价值（4 点）
- 把 agent 的 harness（工具接口、格式解析、终止策略、错误处理等代码）纳入优化范围，而不仅仅调 prompt；在电商搜索 Agent 中，商品检索 query 改写/后处理、结果格式化、答案抽取、turn 限制等代码都可被联合搜索优化。
- 采用交替训练：模型在固定 harness 下做 rejection sampling 微调，然后固定模型搜索 harness；使用小步交替而非先训练完再做 harness 搜索，避免对旧 harness 过拟合，且能更快达到更高准确率。
- 用训练信号（如 training reward 滑动窗口不再改进）做 per-phase early stopping，自动决定切换时机，减少超参调节；工程上可实现为 patience 规则。
- 先用低成本 harness 搜索做瓶颈诊断：如果 harness 搜索能快速匹配 weight-only 的峰值，说明 harness 是瓶颈，优先优化 harness；如果 harness 搜索收益很低，可能模型是瓶颈，需要先做权重更新，指导资源投入。
无知还是无能？构造知识门控、可验证的 LLM Agent 任务
🧭 LLM Agent 任务构造与评估
DataGrids · Shanghai University · Peking University · Northwestern Polytechnical University · Nanyang Technological University
提出知识门控任务构造协议，分离任务指令与私有工件，通过溯源与可执行见证验证知识依赖
📌 工作参考价值（4 点）
- 用于内部 Agent 评测：把任务指令与领域私有规则/参考表/工具算子分离，在“提供 vs 不提供工件”两种条件下保持指令字节一致，可区分 agent 是缺知识还是缺能力，适合电商 SOP、价格策略、客服话术等私有约定场景。
- 用 deterministic solver 或规则语料生成结构化任务的精确 ground truth，避免 LLM judge 波动；对不可单一可执行 oracle 判定的自由文本输出，采用命名 criterion-level rubric 分项考核，比整体打分更稳定。
- 借鉴 leak audit 和 plausible-but-incorrect artifact 作负向控制：在构建企业私有 RAG/Agent 评测集时，检查是否存在数据泄漏，并加入“看似合理但错误”的知识工件，确保模型真的依赖给定知识而非记忆或猜测。
- 小样本配置相对校准（如五试验经验门槛）可低成本淘汰不可靠任务，适合在业务迭代中快速筛选高质量评测样本，不必等全量评估。
先评估后改进：自动科研 Agent 的评估准则自动归纳
🧭 自动科研 Agent · 评估引导迭代
Zhejiang University · University of Electronic Science and Technology of China · Beijing University of Posts and Telecommunications · Zhejiang University of Technology
执行前自动归纳任务专属评估准则，引导科研 Agent 执行并逐条验证修订，跨基准平均提升 2.08–16.8 分
📌 工作参考价值（4 点）
- 对电商/推荐 Agent 的开放任务（如 query 改写、推荐解释生成、push 文案选词），可先用 rubric induction 把模糊指令拆成可逐条校验的原子目标，例如相关性、多样性、意图覆盖，再让 Agent 执行，减少后续返工。
- 评估先行架构可以集成到现有 RAG/推荐流程：执行前生成评估标准，执行中逐条对照验证，相当于把 LLM-as-judge 前移，避免全量重写。
- 迭代修订只针对未满足的准则做定向修改，比直接重生成更省 token 且能保持输出稳定性，适合低延迟的线上 Agent 服务。
- 跨多个 backbone LLM 和 agent harness 的稳定增益说明先验 rubric 作为控制机制不依赖特定模型，可做电商 Agent 的平台化评测与跨系统迁移。
组自适应裁剪策略优化（GAPO）
🧭 RLVR 训练 · 自适应裁剪 ★ 深度解读
University of Toronto · Amazon
将 RLVR 中固定裁剪上界改为按组内正确数 c 闭式缩放，保护稀有正确 rollouts 的探索信号
📌 工作参考价值（4 点）
- 在电商/搜索/对话式推荐中用 GRPO/GSPO 做 LLM 微调时，可以直接把固定 clip 上界换成 GAPO 的闭式自适应上界：epsilon_hi(c) = epsilon_lo + (epsilon_max - epsilon_lo) * (k-c)/(k-1)，只需根据当前 prompt 的 group 内正确样本数 c 调整 clip，几乎不增加超参数，且无需 reward shaping。
- 注意 advantage 归一化：不要对 group 内 reward 做 std normalize，否则会放大全对/全错组的权重，稀释稀有正确样本的学习信号；保留原始 advantage 更利于探索，这一结论可以直接迁移到 query 生成或商品文案生成的 RLVR 训练。
- 当发现模型 pass@1 尚可但 pass@k 多样性下降、困难 query 覆盖变差时，优先检查 clip fraction 是否对低 c rollouts 过高，尝试把固定上界改为按 c 线性插值，成本极低，能有效保留困难 query 上的正确生成模式。
- 若条件允许，尽量使用 sequence-level IS 而非 token-level IS；论文中 sequence-level 变体在数学基准上 pass@1 更高，且在相同 clip range 下比 token-level 更稳定，可作为架构选择参考。
超越信息流的冷启动探索：创作者供给与共享语料库
🧭 冷启动探索 · 双边效应测量 ★ 深度解读
Snap Inc.
用四项随机实验证明冷启动探索有显著创作者供给效应，但共享语料库效应在短窗口和单边 A/B 中被结构性抵消或不可识别
📌 工作参考价值（4 点）
- 现有冷启动曝光预算目标通常只含 CTR、discoverability 等快变量；可以把创作者后续发布响应作为 offline 先验收进预算目标，用历史 creator experiments 和 corpus-age 数据估计 delayed posting response 与 corpus turnover。
- 单边 viewer-side A/B 会结构性 cancel 掉 shared corpus effect；要衡量长期语料库价值，需用 co-diverted A/B，同时隔离 creator 和 viewer submarket。但该设计受 corpus turnover 时钟限制，短窗口只能汇报 finite-horizon increment，不能轻易外推 asymptote；增加样本量无法缩短所需 horizon。
- 在固定曝光预算下把曝光分散到更多视频，能提升创作者参与且短期无 viewer 侧损失，可作为低风险冷启动 allocation 策略。
- 若业务看到短期 A/B 混合或负向，建议拆分 direct feed effect 与 corpus-mediated effect 汇报，并用 cohort 分析观察探索期结束后自然分发的 organic lift，例如视频 views/time 的 cohort slice 对比。
SnapBench：面向移动交互的拍问式多模态检索鲁棒性基准
🧭 多模态检索鲁棒性基准与模态校准
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Yuanbao · Tsinghua University · ARC Lab, Tencent · The University of Hong Kong
首个配对的拍问式多模态检索鲁棒性基准，覆盖 1145 条查询、9085 个候选项和 53 种受控扰动，并提出自适应融合方法 MOOR。
📌 工作参考价值（4 点）
- 在电商以图搜物/拍照问答场景，线上输入普遍存在图像模糊、短文本或拼写错误；可将 SnapBench 的 53 种受控 corruption 方案作为离线鲁棒性评估模板，覆盖 blur/crop/low-light/typo/short query 等退化模式，用于回归测试检索模型。
- 论文发现干净图像单独检索常优于图文联合检索，说明噪声输入下粗糙文本会拖累联合 embedding；工程上可引入输入质量信号（图像清晰度、文本长度、OCR 置信度）做 modality gating，低质量文本时自动回退到图像检索。
- MOOR 提供简单可复用的融合 trick：对单模态相似度分布做 outlier-aware 标准化，再按可靠性做最优加权；可直接叠加到现有多模态召回/排序的 score fusion 层，提升 noisy 输入下的鲁棒性。
- 图像 corruption 是主要性能瓶颈，文本 corruption 对联合检索影响有限；在资源有限时，优先投入图像质量检测与增强，而不是复杂的文本纠错。
小语言模型作为基于量规的强化学习评判器
🧭 高效奖励模型与 RL 训练
New York University · Yale University
1.7B Probe 评委替代大模型生成式评委做逐条量规打分，RL 训练效果更优且奖励判断快 10.7 倍
📌 工作参考价值（4 点）
- 在需要逐条 rubric 打分的 RL 训练中，用冻结小模型 backbone + 线性 probe 头输出每条标准满足概率，替代生成式 LLM judge，可将奖励计算延迟降低一个数量级，适合需要高吞吐在线奖励信号的 Agent 训练与推荐文案优化。
- 对电商多维度评价（如相关性、覆盖度、转化意图）可分别训练多个 probe 头，共享同一小模型编码器，把 instance-specific criteria 转化为隐藏状态上的线性分类问题，避免逐 token 生成，工程实现简单且稳定。
- 当奖励标准明确且 itemwise 标签可标注时，小模型 probe 评委能保留标准级奖励结构，跨任务/领域迁移良好，可用于搜索推荐系统的多属性质量控制，无需为每个新场景重新训练大模型评委。
- 若当前使用 7B+ 生成式奖励模型，可尝试用 1-2B 小模型 probe 替代，在效果不降甚至更优的情况下大幅降低 API 成本与训练时间。
影响力导向蒸馏：解决采样令牌在线蒸馏中的多样性瓶颈
🧭 On-policy 蒸馏多样性保持
BiliBili.Inc · University of North Carolina at Chapel Hill · University of Science and Technology of China · Shanghai University of Finance and Economics
提出 IDA-OPD，用一阶局部熵影响力识别并替换熵收缩更新，仅靠采样令牌教师概率提升 pass@k 并保持 pass@1
📌 工作参考价值（4 点）
- 在蒸馏小模型做生成任务时（如 query 推荐、商品描述、广告文案），不要只盯 pass@1；引入 pass@k 监控多样性继承，避免蒸馏后输出同质化。
- 可以低成本复用 IDA-OPD 思想：用教师仅对采样 token 的 log-prob 做更新，通过一阶局部熵影响力判断更新是否压缩熵，对熵收缩更新做自适应优势收缩，无需全词表教师 logits，适合线上资源受限的生成推荐场景。
- 若已有 on-policy 蒸馏流程，先用该影响力代理做离线诊断，定位哪些训练 step 导致多样性下降，再有针对性调整更新或数据混合，比盲目增加正则更高效。
- 在生成式推荐中，若要继承教师模型生成多样性（如多样商品标题、搜索联想词），可借鉴本文用符号一阶代理解耦教师-学生差距与学生局部概率结构的方法，快速识别负影响力位置。