Closing the Calibration Gap in Semantic Caching
弥合语义缓存中的校准鸿沟
🧭 语义缓存校准与评估指标
New York University · Redis
指出语义缓存评估重排名轻校准导致部署性能差，提出缓存感知的校准指标P-CHR AUC与CRR
📌 工作参考价值（4 点）
- 语义缓存选型时，不要只看PR-AUC，应优先评估分数的校准度（如使用P-CHR AUC或CRR），否则线上高排名模型可能给出不可靠的阈值，导致过多误命中。
- 部署前做分数截断阈值扫描时，直接使用P-CHR AUC曲线观察不同缓存利用率下的精度，平衡成本与质量；CRR能快速估算离线排序指标有多少能迁移到线上。
- 校准差距主要由训练目标（如对比损失 vs. 交叉熵）决定，而不是数据规模，因此改进语义相似度模型的训练目标比堆数据更有效；已有模型可通过温度缩放、直方图分桶等后校准手段部分弥补，但不能完全消除差距。
- 设计缓存系统时，将缓存命中决策视为二元分类问题，显式考虑正样本率（查询重复率）带来的结构性上限，避免在低重复率场景下盲目追求高召回。