Should I Be Polite to My LLM Relevance Judge? Tone as a Severity Operating-Point Shift
对 LLM 相关性法官礼貌有用吗？语气作为严重度操作点偏移
🧭 LLM-as-judge 语气鲁棒性
Independent Researcher
在 TREC DL19/DL20 上发现 prompt 语气主要改变 LLM 相关性法官的严重度操作点而非判断质量，影响校准类一致率大于排序
📌 工作参考价值（4 点）
- 若用 LLM 作为离线相关性/质量 judge，不要把礼貌等级当可调超参；固定 prompt tone 和模板（含 paraphrase）以降低 severity shift，上线前做 prompt 变体稳健性测试。
- 更应校准 LLM judge 的宽严程度，而不是追求更高 agreement：对绝对 graded label，用 human 标注数据估计 severity 偏移并做阈值/概率校准，或对 prompt 做温度与 threshold 适配。
- 排序指标（NDCG@10）对 tone 不敏感（最大平均变化 0.011），若只用于召回/粗排排序对比，风险较低；但需要关注 Kendall τ 下降导致的精排重排。
- Query-disjoint 验证法值得借鉴：把 query 切分，用未参与 prompt 选择的 queries 评估 prompt 变化，避免过拟合 prompt 到特定 query 集合。