扫清迷雾：在 LLM Agent 中植入与精调主动探索能力
🧭 LLM Agent 主动探索训练 ★ 深度解读
Sichuan University · National University of Singapore · University of Leeds · Engineering Research Center of Machine Learning and Industry Intelligence
通过探索性数据构建和对比信号引导强化学习，大幅提升 LLM Agent 在多轮交互任务中的主动探索与决策能力
📌 工作参考价值（4 点）
- 电商购物 Agent 的训练数据要包含探索轨迹：标准人类专家轨迹中探索动作几乎为 0（如 WebShop 中 Next/Back 仅 0.1%），导致 SFT 后的 Agent 只会被动执行、不会翻页回溯。可以用强 LLM 配合树结构上下文，合成包含主动搜索、回溯、分支尝试的探索丰富轨迹，作为 SFT 初始化数据。
- 用树结构管理会话历史，避免长程任务中的上下文迷失：在电商搜索、多轮比价等场景，线性的 action-observation 历史会混淆有效路径与废弃分支。借鉴论文中的 tree-structured history + cognitive notes，在 Agent 内部显式维护分支、回溯指针和状态标注（如 [DEAD END]、[SUB-OPTIMAL]），能显著提升策略的探索质量。
- 用对比偏好对 + DPO 校准「探索 vs 执行」的决策边界：在关键状态上，采样学生动作与参考动作，通过 MC rollout 估计各自未来回报，过滤小差距对后做 DPO。这套机制可以迁移到推荐/搜索 Agent 的策略优化，让模型学会何时继续浏览、何时停止探索并做出购买/点击决策。
- 探索效率评估与难度分层分析：论文提出的 Eff = EE - WE 指标（有效探索减浪费探索）以及按任务难度分层统计探索强度，可用于业务中诊断 Agent 是否在做有效信息获取，而不是盲目增加交互步数。
智能体弃权：何时停止行动而非继续交互
🧭 Agent 弃权决策与上下文工程 ★ 深度解读
University of Leeds · Southwest Jiaotong University · University of Washington · Allen Institute for AI
研究LLM智能体在任务不可行时的弃权决策，揭示及时弃权是主要瓶颈，并提出用少量交互轨迹蒸馏停止规则以显著提升弃权效率和成功率。
📌 工作参考价值（4 点）
- 电商对话Agent应具备环境感知的及时弃权机制：当用户需求无法在商品库中满足时（如“买粉色客厅枕头”但无粉色枕头），Agent不应持续无效搜索，而应在首次搜索失败后即停止并提供替代建议，避免浪费推理资源和用户等待时间。
- 利用少量失败轨迹提炼弃权规则：借鉴CONVOLVE方法，用极少（20条）不可行任务的交互日志生成动态“弃权手册”，注入系统提示，可显著提升Agent对不可行需求的及时识别，无需模型重训，适用于快速迭代的在线购物助手。
- 评估指标需侧重及时性：放弃率（AbsRec@K）和路径加权成功率（SPL）比单纯的任务完成率更能反映Agent的决策效率。在电商Agent评测中加入“最早可弃权步”的标注，可精准定位Agent是否过度搜索或过早放弃。
- Agent脚手架设计影响弃权行为：在终端/工具调用场景中，不同的Agent框架（如Codex CLI vs Terminus 2）会显著影响弃权的时机和频率，说明即便基座模型相同，交互循环设计和观测结构也会左右Agent的“止损”能力，推荐场景应选择弃权保守性更适中的框架。