#Hindsight

3 篇

The Next Screenshot Knows: Gated Hindsight Distillation for Mobile GUI Agents

下一帧截图知道答案：门控后见蒸馏训练移动GUI代理

🧭 GUI Agent · 后见知识蒸馏 ★ 深度解读

电子科技大学

利用下一帧截图作为特权信息，通过门控蒸馏将未来知识注入前缀策略，显著提升GUI代理任务成功率。

📌 工作参考价值（4 点）

序列决策任务（如推荐多轮交互）中，可模仿GHD，将用户事后真实行为（点击、购买）作为“未来状态”，通过teacher-student蒸馏，将事后知识注入仅依赖当前上下文的前缀策略，提升决策合理性。
门控机制“仅学生犯错且教师纠正时蒸馏”能有效过滤噪声样本，保证蒸馏信号的可靠性；类似地在推荐agent训练中，可只蒸馏那些模型在当前状态下给出差动作而事后信息能给出更好动作的case。
将强化学习（GRPO）与token级分布蒸馏结合，提供稠密的token级监督，比传统基于动作标签的模仿学习更高效；该训练范式可迁移到任何需自然语言推理+行动的agent场景。
动态采样（最多三次尝试寻找有效蒸馏样本）在不大幅增加训练开销的情况下显著提升有效监督密度，适合在离线数据有限时提升RL训练效率。

Agent | 2026-08-06 | cs.CV | score 8/10

混合事后自蒸馏H^2SD：分轨迹成败的推理增强训练

🧭 LLM 推理训练 · 事后自蒸馏

Shanghai Artificial Intelligence Laboratory · Harbin Institute of Technology · Fudan University · The Chinese University of Hong Kong

提出H^2SD，根据轨迹成败分别用重述增强和参考提示进行教师信号调制与蒸馏，提升推理训练稳定性和效果

📌 工作参考价值（4 点）

训练LLM Agent时，区分成功与失败轨迹：对成功响应只做重述增强，用重评估概率调制更新幅度，避免扰乱正确行为；对失败响应引入事后参考提示和逆向KL蒸馏，提供明确纠正信号
在商品推荐对话、多轮推理等场景，可利用用户反馈（如点击/转化）作为轨迹正确性标签，分别应用不同的教师蒸馏策略，克服稀疏奖励下的token级信用分配问题
混合教师上下文构建方式无需额外强教师模型，仅需事后正确答案（如验证器确认的结果），降低工程依赖，适合轻量级业务fine-tuning
重述指令（rephrasing）可凸显关键推理步骤，类似推荐解释生成中可对高质量解释进行改写增强，抑制冗余，提升生成效率与稳定性

Training | 2026-07-20 | HF Daily | score 6/10

SD-Search：策略事后自蒸馏实现搜索增强推理的步骤级监督

🧭 搜索增强推理 · 事后自蒸馏 ★ 深度解读

Kuaishou Technology

提出事后自蒸馏框架，从策略自身获取搜索步骤的细粒度监督，无需外部教师或额外标注

📌 工作参考价值（4 点）

从策略自身挖掘步骤级信号：同一模型在训练时分别以“学生”（仅推理时上下文）和“教师”（额外看见同组滚动的事后摘要）两种视角运行，用分布匹配提取各搜索决策的细粒度反馈，无需外部教师或昂贵标注。可在推荐 Agent 的多步交互中复用，对关键决策步骤（如召回、重排）施加 token 级自蒸馏。
事后信息块的精巧设计：通过屏蔽答案和思考内容、保留查询与二元结果标签（CORRECT/INCORRECT）构建对比，迫使教师隐含地评价哪些查询值得执行。在对话或推荐 Agent 中，可用历史动作和成功/失败标签构建类似的事后上下文，强化正向动作模式。
Jensen-Shannon 散度替代 KL 或 MSE：对称、有界的 JSD 比 forward KL（强迫覆盖所有模式）或 reverse KL（过早坍塌到单一模式）更稳定，且对 top-k 截断不敏感，适合 token 级分布对齐。可用于任何需要软目标匹配的生成任务，如生成式推荐中的语义 ID 蒸馏。
无额外推理开销的 RL 融合：自蒸馏仅增加一次辅助前向和损失项，不修改奖励或优势计算，训练耗时仅增 15.5%，推理完全不变。低成本地提升了多跳问答的查询质量，而不增加搜索次数，对线上 Agent 服务的效率优化有启发。

Agent | 2026-05-18 | cs.IR | score 8/10