SynthAVE: Scalable Synthetic Labeling for E-Commerce with LLM-Arena Validation
SynthAVE：电商属性抽取的规模化合成标注与多模型验证框架
🧭 多 LLM 协同标注 · 属性抽取验证
Amazon
用 21 个异质 LLM 组成的投票仲裁机制验证合成标注，与人类专家一致性达 95.2% (κ=0.92)，错误校正率 83.1%
📌 工作参考价值
- 数据质量兜底：业务中大量使用 LLM 生成商品属性标签（材质、颜色、适用年龄等）时，可引入 3–5 个异质模型 + 多 prompt 的轻量投票团进行盲评，仅对分歧样本投入人工复核，可将人工复审量压到 5% 以下而保持 97%+ 准确率。
- 一致性作为置信度信号：仲裁团的一致程度可直接用作标签可信度——全票通过（36% 样本）几乎无错（0% 翻转），低一致样本（<50%）自动转人工，实现风险分级工作流。
- 低成本规模化清洗：全文 7 模型 ×3 prompt 的成本约 $0.023/商品，仅保留最高性价比的 3 个家族（如 Claude、Nova、GPT）可降至 $0.002/商品。此类配置适合百万级商品库的背景批量纠错。
- 回避模型家族偏差：选择来自不同供应商、不同架构的模型，而非同家族不同尺寸，能显著降低系统性误判——文中 Claude 家族与 Qwen 家族间一致性仅 κ≈0.57，这种异质性恰恰是集成可靠的保障。
动机
电商属性值抽取任务（从标题/描述/要点中验证属性-值对是否正确）依赖高质量标注数据，但覆盖数千品类 × 数百属性 × 多语言的组合需要数百万条标注，人工成本不可承受。先前工作已能用 LLM 合成标注（准确率约 92.6%），但如何在不逐条人工审核的情况下验证合成标签质量、控制错误率，是规模落地的核心瓶颈。
方法关键点
- 合成数据生成：基于 Negri et al. 的受控生成方法，对 12,726 个商品（西语、法语、意大利语、德语）生成 (商品, 属性, 值) 三元组，标签包括 CORRECT / INCORRECT / UNKNOWN。
- 多模型仲裁框架：构造 7 个模型家族 × 3 种风格 prompt = 21 个独立“法官”，每个对同一样本独立判决，最后多数投票定标签。
- 法官资质与多样性：模型来自 Anthropic、Amazon、OpenAI、Mistral、DeepSeek、Qwen、Gemma，确保训练目标、规模、地域差异；prompt 分为直给指令、XML 示例、角色扮演三种，避免 prompt 过度拟合。
- 成本控制：全仲裁团 267,246 次 API 调用共 0.023/商品；可裁剪至 3 个模型家族降至 $0.002/商品。
- 人工真实性锚定：对抗双方（合成标签 vs 仲裁团）不一致时才人工复核；一致样本中随机抽检 400 条验证，一致时错误仅 3.0%，全票一致时 0% 翻转，证明分歧触发策略可靠。
关键实验结果
- 与人类一致性：仲裁团多数票与人工专家整体一致率 95.2%，Cohen’s κ = 0.92（几乎完美一致），各语言 94.0%–96.4%。
- 数据清洁效果：原始合成准确率 92.6% → 仲裁清洗后 95.0%，修复了 83.1% 的错误，错误检测精确率 98.0%。
- 单模型 vs 集成：任一单个法官均不及多数投票，模型家族间异质性（Fleiss’ κ=0.76）是集成准确性的前提——同家族内一致性高于跨家族，证明“异质模型、同向错误少”是核心。
- 一致性分层：全票一致（36% 样本）达到 100% 准确率；高一致性（>85%）准确率 98.8%；低一致性（<50%）仅 65.1%，应转人工。
一句话记忆
“让 21 个来自不同家族的 LLM 独立判断后投票，比任何一个单模型都更可靠，且一致程度直接对应标签可信度——全票通过的标签几乎无需人工复核。”