当用户改变主意:LLM Agent 的意图漂移测量与修复
🧭 Agent 意图状态维护与多轮任务评测 ★ 深度解读
HKUST · CUHK · LIGHTSPEED
构建可控意图漂移基准 INTENTFLUX,提出显式状态折叠 StateForge 显著修复多轮任务性能下降
📌 工作参考价值(4 点)
- 多轮购物/搜索助手场景:用户会持续改条件(价格、品牌、词槽)或撤回约束,直接拼历史容易让已撤销的筛选条件污染推荐结果。可在生成前用一个轻量 tracker 维护“当前有效意图状态”,对每个条件做 ADD/DELETE/REPLACE,且同时删除依赖该条件的推导结论(如“预算升高导致推荐高端品”),再输入生成模型。
- 工程上不必用主力大模型做状态追踪:9B tracker 已与 122B 无统计差异;2B tracker 经 on-policy distillation 能从 0.266 提到 0.445。在电商 Agent 架构中可以把意图状态维护拆成小参数模块,降低成本与延迟。
- 评测/回归验证时,务必避免在收尾轮次重述最终意图,否则会掩盖 drift 缺陷;可借鉴 clean vs drift 配对、CAR/IDG 指标,以及长度匹配无漂移对照,逼出真实的多轮意图追踪能力。
- 压缩/摘要式 history management(滚动摘要、两阶段压缩)对意图漂移不可靠;如果业务中有多轮查询改写/约束增删,应优先考虑显式状态折叠,而不是依赖通用 long-context 或摘要。
MAIGO:通过历史清洁化在线策略自蒸馏缓解对话丢失
🧭 多轮对话优化 · 在线策略自蒸馏 ★ 深度解读
Zhejiang University · Shanghai AI Laboratory · Huazhong University of Science and Technology · Fuzhou University · Tencent
用清理掉先前助手回复的参考分布进行在线蒸馏,消减多轮对话中的自污染,缩小全量 Prompt 与分片对话的准确率差距
📌 工作参考价值(4 点)
- 多轮 Agent 的中间回复污染问题:在电商导购、工具调用等多轮 Agent 场景,模型生成的中间回复(如过早的推荐、不完整的工具调用)会作为历史上下文影响后续决策。MAIGO 的思路是直接清理历史中的助手输出,训练模型在干净的用户侧前缀下响应,可借鉴用于构建对历史鲁棒的 Agent 策略。
- 无需奖励信号的在线自蒸馏:直接用 EMA 教师模型在清理后的上下文计算参考分布,避免了构造复杂稀疏奖励,可简化多轮 Agent 的微调流程。
- 自适应可靠性加权:用学生与参考分布在采样 token 上的对数概率差异生成权重,削弱漂移过大的中间轮次更新,防止模型从错误的自身历史中学习。这个 trick 可推广到其他在线学习场景,提高信号质量。
- 全量能力保持分支:通过概率 ρ 采样全量 Prompt 步骤进行 EMA 自蒸馏,避免分片微调损害模型在完整指令上的表现,对生成式推荐中既要提升多轮体验又要保持单轮推荐质量有借鉴意义。
π-Bench:评估长程工作流中主动个人助理智能体
🧭 主动个人助理智能体评估 · 长程交互与隐藏意图 ★ 深度解读
Shanghai Jiao Tong University · Shanghai AI Laboratory · The Chinese University of Hong Kong · Fudan University · University of Science and Technology of China
提出π-Bench基准,量化智能体在多轮交互中主动发现与解决用户隐藏意图的能力
📌 工作参考价值(4 点)
- 隐藏意图建模:在电商对话推荐、客服助手等场景中,可显式定义"hidden intents"(如预算、品牌偏好、未明说的限制),并追踪agent是否主动询问或推断,以此作为主动性指标。
- 跨会话依赖设计:借鉴跨session依赖的构建方式,模拟用户长期画像的持续利用,评估模型能否从历史交互中提取偏好并应用于新任务,用于电商个性化推荐的持续学习。
- 双维度评估解耦:将评估拆解为Proactivity(是否减少用户认知负担)和Completeness(最终交付质量),避免只奖励“用户反复提供信息后完成任务”的假象,适合评估对话式商品搜索、谈判等场景。
- 自动化用户模拟+评审协议:使用user agent模拟用户并跟踪意图状态,结合checklist与rubric判分,可为Agent工作流提供可复现的自动化回归测试框架,加速迭代。