Search-E1: Self-Distillation Drives Self-Evolution in Search-Augmented Reasoning
Search-E1：自蒸馏驱动搜索增强推理的自进化
🧭 搜索增强推理 Agent 自进化训练 ★ 深度解读
通过交替 GRPO 与离线自蒸馏，从同一问题的正负轨迹对中提取 token 级监督，无需外部教师或奖励模型
📌 工作参考价值（4 点）
- 从轨迹对中生成 token 级细粒度信号：在搜索、对话等多步 Agent 训练中，正例轨迹的某一步往往比负例轨迹的对应步更优。可以用离线自蒸馏从正负轨迹对中学习 step-wise 差异，无需额外训练过程奖励模型，降低工程成本。
- GRPO 与自蒸馏交替训练，避免干扰在线探索：Search-E1 的离线自蒸馏轮次完全独立于 GRPO 的 rollout 采样，不改变 RL 的训练动态，可以作为现有 GRPO 训练流程的插件式增强，适用于电商搜索、推荐等场景中逐步提升 agent 的决策粒度。
- 利用同一模型的 privileged context 进行知识蒸馏：将更优轨迹作为 prompt 前缀送入同一模型，让学生分布逼近教师分布，不需额外存储或调用外部模型，适合线上模型迭代。
- 多轮自进化循环，适合持续优化：随着训练的进行，可以从日益稳定的 rollout 池中挖掘新的 pair 持续进行自蒸馏，适合推荐系统或搜索 Agent 在用户反馈闭环中在线持续学习。