Hierarchical Self-Improvement: A Framework for Task-Specific Evolvable Agent Harnesses
分层自改进：任务专用可进化 Agent Harness 框架
🧭 Agent 分层自改进与 harness 进化 ★ 深度解读
HKUST
单个冻结 LLM 通过任务 harness、evolver、meta-evolver 三层自改进，在 BALROG 上实现显著提升并揭示能力边界
📌 工作参考价值（4 点）
- 把 agent scaffold 当可进化资产：在电商/搜索推荐 Agent 中，不要只调 prompt；把 prompt、tool 编排、memory、state tracking、验证逻辑打包成 task-specific harness，按任务族（如导购、query 改写、push 文案）分别维护，并通过固定 using_harness 接口热更新。模型权重保持冻结，避免每次策略调整都重训或换模型。
- 评估 harness 迭代要防过拟合和高方差：用 held-out 任务 split 而不是全量同一批任务评估；候选版本用 LCB reward（μ - 0.5·σ/√n）排序，允许保留多分支 commit pool，最终用 validation 选择泛化最优版本。这可比直接选单次最高分可靠得多。
- 把“怎么改 harness”也变成可学习策略：meta-evolver 不是直接改任务表现，而是改 seed 选择、explore/exploit、commit 规则。对应到搜索/推荐 Agent，可以把人工的“何时探索新品/何时重启策略/如何维护版本档案”作为上层可优化策略，而不是硬编码。
- 先判断两个边界再投入：如果模型在任务上初始 reward 近零或反馈极稀疏，harness 进化收益极低（NLE 案例）。业务上应先确认有非零、可区分的 reward 信号；harness 进化只能放大既有能力，不能替代模型升级。