Learning Meta-Skills for Agent Harness Design in Test-Time AI4AI
测试时 AI4AI 中面向 Agent 脚手架设计的元技能学习
🧭 Agent 元技能与执行环境构建 ★ 深度解读
Apodex · University of Illinois Urbana-Champaign
提出通过 Builder 从 Target 执行反馈学习元技能,并物化为脚手架以提升固定权重 Agent 的表现
📌 工作参考价值(4 点)
- 将“教模型解题”拆成“教构建者设计支持”:用 (when, provide, use) 三字段沉淀执行反馈中的共性失败/负担,而非只蒸馏任务技能;在电商 Agent 工作流中可用于提炼“何时需要价格/库存校验、提供什么工具、谁负责最终判断”的运维原则。
- 支持要以“可执行脚手架”交付,不要直接把同一批 skill 塞给下游 Agent:让 Builder 把元技能编译成 memory、controller、verification、工具包装等;论文中 Builder 交付比直接给 Target 平均高 12.02 个百分点,说明把语义知识转成持久状态/控制流是收益来源。
- 同一模型可同时当 Builder 与 Target,不更新权重也能通过“学会给自己搭环境”自改进;适合线上 Agent 系统在 fixed model 下做轻量自举,尤其是反复出现的协调/提交流程。
- 技能访问默认全量 bank 给 Builder,通常优于 BM25 top-2(本文 5/6 设置全量更好);当 bank 变大再做考虑互补性的检索,并结合开发集反馈做回滚/选择性保留,避免过拟合。