GUI-HARVEST: Self-Improving GUI Agents through Evidence-Driven Harness Evolution
GUI-HARVEST：证据驱动的 GUI Agent Harness 自改进
🧭 GUI Agent 自适应 Harness 优化
The Chinese University of Hong Kong, Shenzhen · Tianjin University · Harbin Institute of Technology (Shenzhen) · East China Normal University · Shenzhen Research Institute of Big Data
用证据驱动 harness 自动进化，让冻结 backbone GUI agent 自改进并跨任务/模型泛化
📌 工作参考价值（4 点）
- 在电商/搜索推荐 Agent 管线中，可借鉴「证据驱动诊断」：记录模型意图、实际执行动作及前后环境状态（如搜索结果页、购物车状态变化），定位具体状态转移，而非只看最终 reward，从而找出 harness 该改哪里（如终止条件、重试策略、query 改写触发点）。
- 同任务重复运行作为联合证据，比较成功/失败轨迹差异，能排除执行随机性影响，提取 outcome-relevant 的行为差异（例如成功轨迹多了一次二次验证），再把这些差异固化为 runtime 规则，比单次失败更可靠。
- harness 优化建议限制在 bounded source-code edits（观测组装、动作执行、验证/恢复、终止控制），并在评估前记录预测行为效果；这样能验证行为与任务性能双重提升，降低过拟合到特定任务的风险，便于在 unseen tasks 上复用。
- 冻结 backbone 下优化 harness，再跨模型/跨环境迁移，可减少对每个新模型做 fine-tune 或 prompt 工程；电商场景中可先在成本较低模型上优化 harness，再迁移到更强闭源模型或不同产品域。