GraphForge: Training Working Agents with Graph-Anchored Workspace Synthesis
GraphForge:基于图锚定工作空间合成训练工作智能体
🧭 Agent 工作智能体训练数据合成
University of Science and Technology of China · Fudan University · Shanghai Innovation Institute · Shanghai AI Laboratory
用证据图从真实文件合成可验证的工作智能体训练数据,微调后多项基准显著提升
📌 工作参考价值(4 点)
- 可用真实业务文件(商品目录、投放报表、用户日志)构建工作区,并用证据图显式编码文件间关系,确保多步任务每个要求都能追溯到具体支撑文件,避免模型编造数据,适合生成电商运营、广告投放、搜索优化等 Agent 训练集。
- 任务 rubric 与原始文件/单元格锚定,使奖励信号或拒绝采样筛样具备可审计性,降低 reward hacking 和评估噪声,可迁移到 RLHF/DPO 等 Agent 优化流程。
- SFT 后增加 rejection fine-tuning:用自身 rollout 并通过 rubric 筛选高质量候选,无需新增人工标注即可进一步提升 Agent 效果,适合业务 Agent 的快速迭代。
- 初始 rollout 可执行性检查 + revision agent 修复不可行任务,能自动清洗可能失败/不可完成的训练样本,降低坏样本对模型的影响。