超越时间戳：面向长程智能体的决策对齐在线策略蒸馏
🧭 长程 Agent 决策对齐的在线自蒸馏 ★ 深度解读
Beihang University · Tsinghua University
提出 ALIGNOPSD，用跨 rollout 决策对齐修正特权监督并用可变决策片段分配 credit，长程 Agent RL 提升 5.5–8.7%
📌 工作参考价值（4 点）
- 在电商导购/搜索式推荐 Agent 的 RLVR 训练中，若用带特权信息的 teacher policy 做 dense 监督，不要按 turn index 对齐 teacher/student；用 thinking trace 的 frozen embedding 余弦做跨 rollout soft matching，再 teacher-force 同一 response，可避免时间戳错配污染 credit。
- 把一次输出作为 credit 最小单位太粗、token 太细；用相邻 turn 的 correspondence profile 的 JSD 变化自动切分决策片段，再在 span 内按证据分配 advantage，更适合“同一个决策跨多轮”的场景（如搜索→点商品→比价→加购中“比价”持续多轮）。
- 优势分配时用 stop-gradient 的权重乘到 group-normalized advantage，不引入额外 distillation loss；KL 正则约束 span/turn 分配不偏离均匀 token measure，训练更稳定。
- 超参默认值：credit temperature T=0.5 跨任务和模型尺度较稳定；thinking similarity threshold 0.7–0.8 较稳；top-K 需按任务调，长轨迹可稍大，短轨迹需更小。
X-Tree：将可复用经验分词为技能树以高效泛化智能体
🧭 Agent 技能层级挖掘与 RL 训练 ★ 深度解读
University of Waterloo · Duke University · National University of Singapore
把智能体轨迹中可复用动作片段按频次/长度/成功率挖成层级 X-Tree，并以数据、奖励、上下文三种方式训入权重
📌 工作参考价值（4 点）
- 动作/行为序列先做 canonicalization：把点击、填表、搜索等映射为 verb⟨role⟩ token，去掉具体商品/页面 id，再做频次挖掘；比直接使用原始 action 文本更容易发现跨商品、跨 query 的复用流程，适合从电商 session 日志抽取“浏览→筛选→加车→下单”等宏动作。
- 离线无仿真环境时，不要只对整段 trajectory 做 SFT/RL；把高频且成功的子序列节点当作 RL 实例，用 gold prefix 做 partial rollout，奖励设为 step-matching + depth-scaled completion bonus。WebArena 上同样数据比整轨迹 SFT 高 +4.5 SR，说明细粒度子过程很值钱。
- 在线 RLVR 面临稀疏 verifier reward 时，可以加一个 adaptive skill bonus：按 group win rate 线性衰减，只在 verifier 不能区分 rollout 好坏时生效；这样既提供早期稠密梯度，又不会在后期污染奖励。推荐/搜索 agent 的在线探索奖励可借鉴。
- 用 OPSD/self-distillation 训练策略时，教师上下文中的 LLM 写 skill bank 可替换为从日志挖掘的 X-Tree 渲染文本，效果相当且零 LLM 成本；对无法频繁调用大模型做抽象的工程场景很有用。
β-OPSD：将策略优化用于推导、自蒸馏用于训练的推理增强框架
🧭 KL正则化策略优化 · 自蒸馏 ★ 深度解读
University of Maryland, College Park
将on-policy自蒸馏统一为KL正则化策略优化族，通过可控的logit插值目标与return-to-go信用分配替代直接教师模仿，显著提升推理模型训练稳定性与性能。
📌 工作参考价值（4 点）
- 蒸馏目标调度：在在线蒸馏中，不直接跳到教师分布，而是用logit插值在参考策略与教师之间构造平滑课程（β从大到小）。这一trick可迁移至推荐系统的生成式模型训练（如LLM生成商品标题或推荐解释），避免训练初期因教师‑学生差距过大导致的崩溃。
- return‑to‑go信用分配：将序列级KL散度梯度分解为token级累积未来误差，替代局部token‑KL损失。在电商对话Agent中，对于多轮对话的回复质量评估，可借鉴这种将最终用户满意度信号反向传播到每个token的方法，提升训练效率。
- 参考策略的动态/固定选择：实验表明，使用当前学生（stop‑gradient）作为参考端、固定教师作为教师端的混合插值效果最好。这在搜推场景中可对应为：用当前模型的历史快照作为“保守先验”，用业务强信号（如成交）构造教师，在持续学习或在线更新时保持稳定性。
- 低成本策略优化近似：通过闭式解推导出理论最优目标，再用轻量logit混合实现，避免直接RL的方差和成本。在资源受限的推荐Agent微调场景中，可复用这种“推导用RL，训练用蒸馏”的范式，兼顾效果与效率。