Decoy-Calibrated Failure Audits for Language Models
诱饵校准的语言模型失败审计方法
🧭 模型失败审计的可信报告方法
Meta Platforms
提出 Janus 审计规程，用同频随机诱饵校准错误切片提升并强制保留集复现，只报告可信的解释。
📌 工作参考价值
- 错误归因可信度评估：在线上模型排查或A/B测试失败归因时，常会提出多个假设切片（如长上下文、特定用户群）。用诱饵地板过滤随机性，再在后续数据上做留出验证，可避免将偶然波动当作系统性失败模式，直接用于电商推荐模型的问题定位。
- 切片发现与报告分离：接受任何来源（领域知识、自动切片挖掘、LLM辅助分析）的候选描述，但只把通过诱饵校准和留出复现的当成正式结论。这一原则可嵌入推荐系统的错误分析pipeline，防止“挖掘即信息”的选择偏误。
- 保留集复现作为门控：留出数据集上的提升与符号一致性检查简单有效，类似模型中上线前的回测或离线验证。对Agent多轮交互的失败模式分析，可以先在小规模定稿集上发现线索，再用新交互数据确认，避免胜者诅咒。
- 工程实现轻量：诱饵只是候选描述符的真值向量随机置换，计算量O(Kn)，几乎无额外推理开销。可直接加在已有的错误统计脚本上，用于定期审计模型质量。
动机
模型审计常提出多种失败解释，如在多表查询任务中测试长链推理、间接提问、干扰因子等。观察到最大效应未必代表真实失败模式，可能只是多次尝试中的最好结果。Janus 旨在区分可信的解释与随机波动，为审计报告提供决策规则。
方法关键点
- 输入：固定模型、标注评估集、一组候选描述符（布尔属性，如“长链”）。
- 核心思想：为每个真实描述符构造等频率的随机诱饵（真值随机置换），计算其在发现集上的错误率提升（lift），用诱饵提升分布设定噪声地板。
- 程序A：估计错误发现比例 FDP，选择允许最高通过率且 FDP ≤ 10% 的阈值；仅通过该阈值的描述符进入留出验证。
- 留出确认：在独立拆分上检查提升绝对值≥0.1、符号一致、支持度充足；三项均满足才报告为审计发现。
关键实验与数字
- 受控数据（多表查找任务，160例，准确性64%）：Janus 确认6个描述符，最强的是 long_chain（提升0.58），无误恢复植入的长链失败族。
- MuSiQue（150例，准确性56%）与 LongBench v2（115例，准确性49%）：SliceLine 能发现高误差切片（55-93%错误率），但 Janus 报告0个确认项。
- 消融显示：LongBench v2 上固定阈值报告20个描述符，诱饵地板砍至1个，留出检查后全部被拒（提升从0.36坍缩至0.05），体现胜者诅咒与双重保障的必要。