Adaptive Turn-Taking for Real-time Multi-Party Voice Agents
多方实时语音代理的自适应轮流说话
🧭 多方语音代理 · 流式推理与角色扮演
Amazon AGI · IIT Kharagpur
提出 ModeratorLM，根据分配角色自适应调整多方语音对话中的轮流行为，精度提升超40%，召回提升超70%。
📌 工作参考价值（4 点）
- 角色条件控制代理行为：在电商客服或语音导购场景中，可为代理显式指定角色（如促销导购、售后专员），模型将根据角色调整轮候策略和响应风格，提升对话自然度。
- 流式 chunk-wise 推理与 CoT 增强：采用分块流式语音大模型，结合 Chain-of-Thought 推理，可在低延迟下完成复杂的轮流决策，适合对实时性要求高的电音语音交互。
- 合成对话数据生成：RolePlayConv 数据集构造方法利用了角色多样性合成，可低成本生成特定业务场景的训练数据，减少人工标注成本。
- 减少误打断：提出的方法显著降低误打断率，在呼叫中心或语音工单等场景中可避免重复澄清，改善用户体验。