Retrospective Harness Optimization: Improving LLM Agents via Self-Preference over Trajectory Rollouts
回顾式 Harness 优化：基于轨迹重放的自偏好提升 LLM Agent
🧭 Agent 自进化 · Harness 优化 ★ 深度解读
City University of Hong Kong · Microsoft Research Asia
提出无需标注的回顾式 Harness 优化方法 RHO，通过自偏好对比轨迹选择最佳技能/工具更新，在软件工程、技术等多个领域显著提升 Agent 表现。
📌 工作参考价值（4 点）
- 无标注的 Agent 自优化管道：RHO 仅利用过去运行轨迹，通过自比较和自偏好选出最优 harness 更新，完全省去人工构造验证集。电商对话 Agent、多智体协作流水线可直接借鉴，从历史对话或操作痕迹中自动提炼更好的提示/工具/技能。
- DPP 挑选困难且多样样本：用 Determinantal Point Process 结合难度评分和语义多样性选取核心集，避免只挑困难而忽视类型覆盖。在推荐场景可类比地用于从海量离线日志中选出最具代表性且难例的样本进行复盘优化。
- Group Rollout + 双重诊断信号：对同一任务并行执行多次，通过“自验证”（单条轨迹中的错误步骤）和“自一致性”（多条轨迹间的冲突）提取结构化改进指令。这一技巧可用于推荐 Agent 的多路召回或结果比较，诊断模型飘移或策略分歧。
- Best-of-N Harness 提案与自偏好过滤：并行生成多个 harness 候选，并用自偏好评分选最优，避免单次编辑的不稳定。工程上相当于多个候选流水线并行评估，可用来做线上策略变更的安全上线。