EVOKE:通过目标多样性引出世界知识以提升 Agent 可迁移决策
🧭 Agent 后训练 · 世界知识引出 ★ 深度解读
Shanghai Jiaotong University · Hong Kong Polytechnic University · Eastern Institute of Technology, Ningbo
固定状态与历史、切换目标并对同一组动作做排序监督,迫使策略调用预训练世界知识做决策,而非依赖单目标习惯
📌 工作参考价值(4 点)
- 在电商/导购 Agent 中,可以对同一页面(商品详情、购物车、结算页)构造多个互斥目标(立即下单、修改地址、比价、取消订单),让策略在相同 state/history 下对同一组候选动作排序;只要不同目标偏好反转,就能强制模型使用动作后果知识,而不是记住单目标下的页面习惯,提升未见过活动页/新商城环境的泛化。
- 用「策略当前高分但被环境反馈判定为不推进目标」的动作作为 hard negative,结合 pairwise + listwise ranking,而不是只对 positive 做 SFT,能显著抑制线上 Agent 的惯常错误动作,减少无效点击和重复访问;电商搜索 Agent 可直接用日志反馈构造这类负样本。
- 训练时用 LLM 标注器对真实执行结果做 grounded 标注(实际执行后的 next page/结果),不把预测状态喂给策略;推理时部署标准 policy,无世界模型/规划模块,适合低延迟线上服务。可以借鉴「标注用执行结果,推理零额外开销」的设计。
- 数据效率高:ALFWorld 上仅用约 9% 的演示步数做多目标排序,unseen success 从 60.4% 拉到 91.8%;用当前策略 rollout 并 DAgger 式多轮聚合 policy-favored negatives,适合在电商仿真器/线上日志中低成本持续迭代。
Evo-Bench:衡量语言模型自主优化智能体框架的能力
🧭 Agent 自我进化能力评估
Gaoling School of Artificial Intelligence, Renmin University of China · BOSS Zhipin, Beijing, China
首个跨搜索、办公、通用领域的基准,评估LLM自主进化智能体harness的能力,发现搜索优势与早饱和现象
📌 工作参考价值(4 点)
- 在设计电商搜索或推荐 Agent 时,可让 LLM 自动优化其工作流程(harness),借鉴“辅助任务进化”方法来筛选对框架敏感的任务,降低试错成本。
- 注意早饱和现象:迭代优化时设置提前停止条件,避免过度优化导致性能停滞,适用于高频率在线场景。
- 合成的 harness 作为可迁移的推理模板,跨不同推荐模型复用,可沉淀为内部知识库,统一提升效果。
- 评估自主进化能力时需隔离基座模型强度与框架贡献,可参考“敏感度感知分层划分”防止过拟合到特定任务集。