Evo-Bench：衡量语言模型自主优化智能体框架的能力
🧭 Agent 自我进化能力评估
Gaoling School of Artificial Intelligence, Renmin University of China · BOSS Zhipin, Beijing, China
首个跨搜索、办公、通用领域的基准，评估LLM自主进化智能体harness的能力，发现搜索优势与早饱和现象
📌 工作参考价值（4 点）
- 在设计电商搜索或推荐 Agent 时，可让 LLM 自动优化其工作流程（harness），借鉴“辅助任务进化”方法来筛选对框架敏感的任务，降低试错成本。
- 注意早饱和现象：迭代优化时设置提前停止条件，避免过度优化导致性能停滞，适用于高频率在线场景。
- 合成的 harness 作为可迁移的推理模板，跨不同推荐模型复用，可沉淀为内部知识库，统一提升效果。
- 评估自主进化能力时需隔离基座模型强度与框架贡献，可参考“敏感度感知分层划分”防止过拟合到特定任务集。
将代理技能升级为可执行程序函数：HASP 框架
🧭 Agent 技能可执行化 · Program Function ★ 深度解读
New York University · Salesforce AI Research
把 LLM Agent 的已知技能从被动文本变为可触发、可干预状态-动作的 Program Functions，实现推理时修正、后训练监督与技能库自进化。
📌 工作参考价值（4 点）
- 推理时动作硬修正：将常见失败模式（如过早终止、实体混淆）编码为 Program Function，在 Agent 循环中直接改写动作或注入纠正上下文，而不是只放入 Prompt 作为建议。这一思路可直接用于电商搜索 Agent 的多步推理，例如当检测到搜索结果过少时强制改写 Query，或在提交订单前强制检查库存。
- 结构化干预信号用于数据筛选：每个 PF 介入记录包含时机、模式、正确性、结果四维评分，作为轨迹质量权重叠加在任务奖励上。在构建离线对话或搜索轨迹数据时，可借鉴这种多维质量打分，提升 SFT/拒绝采样数据的有效性。
- 技能库演化需严格过滤：候选 PF 必须通过语法与模拟执行验证及教师审核才能入库，否则会严重损害性能（全过滤 60.3% vs 无过滤 36.3%）。在业务中构建可进化的策略库或规则库时，必须设计类似的自动化校验与人工审核门槛，避免技能“污染”。
- 内部化行为纠正 PF 更有效：训练后，那些纠正模型自身行为（如搜索不充分、查询过长）的 PF 会逐渐沉默，而与输入相关的 PF 仍激活。这提示我们可以有选择地只对高频行为错误进行强制干预，并进行针对性训练来内化，从而降低上线时的判断开销。