Probe-and-Refine Tuning of Repository Guidance for Coding Agents
编码代理仓库指南的探测-精炼调优
🧭 Agent 上下文指导自动优化
Williams College
通过合成bug探测迭代优化仓库指南，使编码代理解决率提升4.7个百分点以上，增长源于覆盖扩大而非单一补丁精度提升
📌 工作参考价值（4 点）
- 知识库迭代优化范式：借鉴 probe-and-refine 思路，在电商搜索、推荐等 Agent 系统中，通过自动生成探测任务（如合成搜索请求、推荐场景）诊断当前知识/指南的缺失，再用 LLM 自动生成补丁，实现领域知识的低成本持续优化。
- 提升覆盖率 > 提升单点精度：实验表明性能提升来自让 Agent 触达正确信息源的比例增加，而非每次决策的准确率。在构建推荐/搜索 Agent 的上下文或工具描述时，更应关注覆盖哪些流程、边界条件，确保 Agent 能找到关键信息，而不是过度微调每一步的精准度。
- 轻量级调优，免于复杂 Agent 循环：调优过程仅使用单次 LLM 调用生成补丁，无需运行完整 Agent 流程，可大幅降低迭代成本。对于需要给 LLM Agent 配置系统指南、业务规则等文本的场景，可采用类似方法快速演进，无需复杂仿真环境。
- 步数预算与指导协同：更长的推理步骤只有在具备良好指导时才能正向收益。设计推荐/搜索 Agent 时，若允许动态步数，需同步提供高质量的上层指导，否则多余步数反而可能引入噪声或偏离任务。