截断评分量表上双重差分会制造效应：预注册 LLM 法官审计证据
🧭 LLM 评估 · 双重差分识别问题
Columbia University · Johns Hopkins University · The University of Chicago · The Pennsylvania State University · The Hong Kong Polytechnic University
揭示 LLM 法官审计中双重差分在 bounded 评分量表上无法识别偏差，显著交互可能纯由截断衰减制造
📌 工作参考价值（4 点）
- 业务中用 LLM 评分（如生成质量、推荐理由、搜索相关性）时，若评分是有界顺序量表（1-5 分），避免直接用双重差分（DiD）估计处理效应：两组候选评分与边界距离不同，共同 severity shift 会被不等衰减，产生虚假交互。先检查评分分布与边界接近程度，对近边界样本做敏感性分析或采用 censored/Tobit 类模型。
- 做 LLM-as-judge 审计（如审计推荐理由偏见、搜索结果排序公平性）时，区分“偏好差异”与“量表衰减差异”：论文给出从审计自身评分中计算 severity shift 与 floor/ceiling 贡献的闭式方法，可作为审计 pipeline 的后验诊断，量化被截断部分贡献的假效应比例。
- 预注册审计主端点 null 而某个交互显著时，不要急于解释为异质性效应；上报前用零偏好构造（zero differential preference）对照，检查该交互是否能由纯截断机制重现，论文示例中可重现 79-85%。
- 电商推荐 A/B 测试或 LLM 评估中，若评分指标有天花板/地板效应，优先使用不受截断影响的指标（排名、胜率、偏好选择率）或对评分做截断矫正，否则可能错误归因。
我们的模型建立在哪些模型之上？审计现代 LLM 中的隐性依赖
🧭 LLM 依赖审计与供应链透明化
University of California, Berkeley · Allen Institute for AI
用 Agent 系统 ModSleuth 递归还原 LLM 开发中的 1060 个来源验证依赖，并揭示许可证、耦合等隐患
📌 工作参考价值（4 点）
- 多模型流水线（如 Agent 协作、生成式推荐链路）中，可借鉴 ModSleuth 的依赖建模方法，自动追踪数据、模型、工具间的引用关系，防止文档碎片化导致的风险。
- 在电商推荐工程中，若使用 LLM 生成内容、过滤数据或评估输出，可以利用类似的依赖图审计来管理许可证义务，避免多跳协议冲突。
- 其操作中心关系（editing、judging、filtering 等）的依赖分类，可直接复用于组织内部模型流水线的构建与追溯，提升合规性和可解释性。
- 对于已发布的模型或数据集，建议采用类似版本解析与工件身份对齐的机制，减少训练时与发布时不一致带来的表现差异。