RetroThinker: Enabling Retrospective Thinking in Speech LLMs
RetroThinker：语音 LLM 的流式回顾推理框架
🧭 流式语音 LLM 自我修订推理优化
The University of Texas at Austin · FAIR, Meta Superintelligence Labs
通过 SFT+length-based DPO 让流式 SpeechLLM 自我修正 CoT，GSM8K 相近延迟下绝对准确率 +11%
📌 工作参考价值（4 点）
- 多阶段后训练组合可迁移：先 SFT 构造带显式“回顾/修订”痕迹的推理数据，再用 length-based DPO 优化早期推理修订，可用于训练对话式推荐 Agent 的推理链，让模型在用户输入过程中边听边想、自我纠错，降低最终响应延迟。
- 长度感知的 DPO 可控制推理 token 长度，避免 CoT 过长导致线上推荐/搜索 Agent 的 TTFT 恶化；在搜索推荐场景可把“延迟-准确率”作为显式偏好信号加入偏好优化。
- 流式自我验证与前向修正思路可迁移到实时多轮 Agent：当用户 query 尚未说完时启动候选解释/推荐理由生成，并在后续 token 流中动态修正，而非等完整输入后再推理，适合语音购物、实时广告文案生成等场景。
- 需要注意本工作基于语音 token 模型，与电商文本 Agent 不完全同构；可直接借鉴的是训练框架和偏好设计，而非模型架构。