MAIGO: Mitigating Lost-in-Conversation with History-Cleaned On-Policy Self-Distillation
MAIGO：通过历史清洁化在线策略自蒸馏缓解对话丢失
🧭 多轮对话优化 · 在线策略自蒸馏 ★ 深度解读
Zhejiang University · Shanghai AI Laboratory · Huazhong University of Science and Technology · Fuzhou University · Tencent
用清理掉先前助手回复的参考分布进行在线蒸馏，消减多轮对话中的自污染，缩小全量 Prompt 与分片对话的准确率差距
📌 工作参考价值（4 点）
- 多轮 Agent 的中间回复污染问题：在电商导购、工具调用等多轮 Agent 场景，模型生成的中间回复（如过早的推荐、不完整的工具调用）会作为历史上下文影响后续决策。MAIGO 的思路是直接清理历史中的助手输出，训练模型在干净的用户侧前缀下响应，可借鉴用于构建对历史鲁棒的 Agent 策略。
- 无需奖励信号的在线自蒸馏：直接用 EMA 教师模型在清理后的上下文计算参考分布，避免了构造复杂稀疏奖励，可简化多轮 Agent 的微调流程。
- 自适应可靠性加权：用学生与参考分布在采样 token 上的对数概率差异生成权重，削弱漂移过大的中间轮次更新，防止模型从错误的自身历史中学习。这个 trick 可推广到其他在线学习场景，提高信号质量。
- 全量能力保持分支：通过概率 ρ 采样全量 Prompt 步骤进行 EMA 自蒸馏，避免分片微调损害模型在完整指令上的表现，对生成式推荐中既要提升多轮体验又要保持单轮推荐质量有借鉴意义。