ProgramDistill: From Interactive Web Apps to Verifiable Reference-Guided SWE Tasks
ProgramDistill：从可交互 Web 应用构建参考引导的软件工程任务
🧭 编码智能体评测基准
KAIST · Microsoft Research Montréal · Microsoft AI
通过「挖掘-构建-补丁」流水线自动生成4,063个可回放验证的参考引导SWE任务，评测编码智能体
📌 工作参考价值（4 点）
- 借鉴 mine-craft-patch 流水线：在电商前端/页面改版场景，可用可交互参考应用自动提取“特征-行为-金牌补丁”三元组，无需人工标注即可构建回归/代理评测集；回放验证机制能过滤不可验证行为。
- 若团队用 LLM coding agent 做 A/B 实验落地或 UI 组件迁移，参考引导任务比 issue 描述更接近真实开发：agent 必须从运行中的参考版本推断隐式行为，适合评估“照原型实现”能力。
- 可控制 restoration depth 的难度分级可直接复用为 curriculum：从补 1 个特征到补 8 个特征逐步增加上下文与依赖，用于训练或筛选 agent，降低长任务失败率。
- 关注 cumulative workflow 指标而不是单任务成功率：完整应用重构更贴近真实迭代，避免只优化孤立 patch。