Reasoning effort, not tool access, buys first-try reliability in agentic code generation: an observational study
推理努力而非工具访问带来智能体代码生成的首次可靠性
🧭 Agent可靠性优化 · 推理努力大于工具
TrendAI
提升推理努力（xHigh）使首次完美运行率从28%跃至89%，而测试工具未提高功能得分
📌 工作参考价值
- Agent能力设计权衡：电商推荐/对话Agent中，盲目增加工具（如查询商品库、检查价格）可能只增成本而无益于任务完成率，类似本研究中测试工具未提升功能评分。应优先提升核心推理能力（例如使用更强模型或增加推理步骤），再针对性补充工具。
- 成本控制与推理深度：将推理努力从High调至xHigh成本仅增9-29%，但效果提升显著。在线上Agent服务中，可考虑为高价值请求（如高客单价用户）分配更高推理预算，以提升一次性解决率，减少多轮交互成本。
- 故障根因分析驱动迭代：研究发现容器部署是主要失败模式（44%首次故障）。在开发推荐Agent时，应建立细粒度失败分析，找出高频失败点（如商品召回缺失、文案生硬），针对性优化而非泛泛增加工具或提示。
- 非功能需求分离处理：设计导向提示仅提升视觉质量，不影响功能。类似地，在生成推荐文案或物品标题时，可分离功能指令（准确性）与风格指令（吸引力），用轻量提示即可达到风格优化，避免干扰核心推荐逻辑。
动机：智能体编码助手常被添加额外能力（如浏览器测试工具、设计系统提示），假设更多能力产出更好软件。本文直接检验该假设。
方法：90次独立Agent运行构建同一应用（实时回顾板），配置涵盖多个模型代际、两种Agent harness、两种推理努力水平（High vs xHigh）、测试工具、设计导向提示。评分依据14项功能指标（满分42）和5分制视觉质量。
关键结果：
- 能力层级主导：前沿模型接近满分，低成本本地模型仅24-37分。
- 容器部署是首次尝试最主要故障点（失败率44%），随模型代际显著变化，但平均总分变化不足1分。
- 测试工具增加42-68%成本，未提升功能得分或可靠性，只在上下文重读上浪费开销。
- 推理努力从High升至xHigh：首次完美运行率从28%升至89%，纠正提示减少约5倍，成本仅增9-29%。
- 设计导向提示提升视觉质量（4.5 vs 3.0），但不提升功能，且简短释义即可重现全部提升，表明设计能力仅需调用即可。
结论：多数首次运行失败源于弱推理，应通过更强模型或加大推理努力预防，而非依赖检查工具。