Autodata: An agentic data scientist to create high quality synthetic data
Autodata:代理式数据科学家自动生成高质量合成数据
🧭 代理式数据合成 · 迭代自我改进
FAIR at Meta
提出代理式数据科学家框架,通过迭代生成、评估与元优化,将推理算力转化为高质量模型训练数据
📌 工作参考价值(4 点)
- 搭建推荐数据飞轮:借鉴Autodata的循环流程(生成→定性检验→定量评估→优化配方),构建自动化合成数据管线,尤其在长尾商品/查询等欠缺真实样本的场景,持续产出难例。
- 用下游指标反馈优化生成策略:把离线模型性能(如AUC)或线上AB指标作为reward,元优化数据生成agent的prompt或采样策略,让生成的数据更贴合业务模型需求,类似自动超参调优。
- 在搜索推荐中迁移Agentic Self-Instruct:将任务定义为“生成搜索词-商品对”或“对话推荐场景”,通过self-instruct + 反思迭代,自动扩写训练集,尤其适合冷启动和少样本领域。
- 工程落地上注意成本控制:论文通过增加推理计算换取数据质量,实际部署时可对复杂任务才启用agent迭代,简单任务用固定模板,避免线上生成延迟过高;合理设置评估检查点与早停机制。