TREK: Distill to Explore, Reinforce to Refine
TREK：蒸馏拓探索，强化精炼——面向困难提示的路由训练框架
🧭 RL训练中的困难探索支持扩展 ★ 深度解读
LinkedIn Corporation · Harvard University · Georgia Institute of Technology
用教师或自反提案识别并巩固困难提示，以正向KL先行扩展学生支持，再交还GRPO精炼
📌 工作参考价值（4 点）
- 困难样本识别与路由：在电商搜索/推荐中，同样存在模型反复生成相似低分结果而不探索新模式的“支持塌陷”；可借鉴TREK的硬提示阈值路由（按学生pass rate），仅在困难查询上触发热模型或自反推理来生成候选解决路径。
- 自反思提案生成：无需外部强模型，仅对当前模型增加推理时上下文（如失败记忆、环境反馈）即可产生优质探索轨迹；推荐系统中可让模型基于前序无效推荐生成反思推词或替代匹配路径，作为蒸馏素材。
- 正向KL巩固而非模仿：选择教师/自反轨迹中与学生当前分布距离最近（trimmed NLL）的样本进行短时正向KL微调，避免全盘模仿，保证探索到的模式能快速进入学生采样空间；在推荐Agent的规划或查询改写任务中，可用此方法将RL探索不到的成功交互路径固化。
- 阶段性训练流水线：硬提示挖掘→提案筛选→短正向KL热身→常规GRPO，该解耦设计可插入现有在线RL训练流程，特别适用于搜索多轮交互、对话式推荐的稀疏奖励场景，用少量教师查询换取早期训练效率大幅提升。