Conditional Evaluation of Language Models with Cheap Auxiliary Signals
使用廉价辅助信号的语言模型条件评估
🧭 LLM 条件评估 · 半监督控制变量
Department of Statistics and Data Science, University of California, Los Angeles · Department of Statistics and Finance, School of Management, University of Science and Technology of China · Microsoft · Department of Statistics and Data Science, National University of Singapore
提出 LACE 半监督估计器，用便宜信号局部中心化控制变量估计 LLM 条件性能，实现无偏且高效。
📌 工作参考价值（4 点）
- 用 LLM-judge、模型置信度、pairwise 偏好等廉价信号，对推荐/搜索/Agent 系统按流量切片（新客、低活跃、长尾 query、分业务场景）做条件效果评估；LACE 的局部中心化确保即便信号有偏也不影响估计目标，减少对人工标注的依赖。
- 借鉴局部岭控制变量：在少量人工标注子集上估计 gold label 残差均值，与全量 cheap score 均值结合，可有效降低条件指标估计方差；评估体系选型可先计算 cheap signal 与 gold label 在目标子群的局部 R²，优先选高相关信号。
- 对 A/B 实验和模型迭代，可用其模型对差距估计器和部署加权得分，分析模型在不同流量桶/商品类目/用户群体上的条件提升是否显著，避免只看整体均值。
- 在 Agent/LLM 推荐链路中，可把 reward model 或 judge 输出当作廉价信号，监控线上分场景性能，低成本识别退化区域。