AMEL: Accumulated Message Effects on LLM Judgments
累积消息效应对LLM评判的偏见（AMEL）
🧭 LLM评估中的上下文累积偏见
LLM在作为评估器时，多轮对话历史中的评价极性会系统性地偏移后续判断，尤其放大不确定项的偏差。
📌 工作参考价值
- 每条评估用全新上下文：在电商内容审核、商品描述质量评分、推荐理由评估等LLM-as-judge场景中，请每次调用单独开启一个conversation，避免历史评价的累积。成本上升，但淘汰风险更高。
- 批量评估必须随机化且平衡：若因成本需批处理，务必随机打乱item顺序，并保持正负样本比例接近。禁止按预期结果排序，否则会产生自我强化的位置漂移（实验中固定顺序导致P(no)从0.07单调升至1.0）。
- 对不确定项单独处理：模型基准预测熵高的item（如 borderline 商品是否违规）是AMEL重灾区（d=-0.34）。可依据logprobs或多次采样区分这些项，优先分配新鲜上下文，或结合logprobs校正（如RBCorr）来抵消偏移。
- 监控线上评估的接受/拒绝比率漂移：若一个会话中比率持续偏离预期，很可能已受累计历史影响，触发告警或重置上下文。
动机：LLM被广泛用于代码审查、内容审核、评分等自动评估任务，生产中常把多个待评项放入同一个多轮对话，生成累积的历史评价。这种历史是否会造成后续判断的偏见？本文定义了累积消息效应（AMEL），并对此展开大规模实证研究。
方法关键点：
- 实验设计：同一组测试项放在干净上下文（基线）与极性饱和历史（90%“是”/90%“否”）的对话之后，测量回答偏移。
- 三个评估领域：代码审查（是否可上线）、内容审核（评论是否恰当）、营养评估（餐食是否健康）。
- 11个模型（OpenAI、Anthropic、Google、本地开源），4种上下文长度（5/10/20/50轮），10次重复调用，总计75,898条API调用。
- 偏差分数：BS = P(目标方向|处理) - P(目标方向|基线)，正值表示向历史极性偏移。
关键结果：
- 整体效应显著，d=-0.17 (p<10⁻⁴⁶)，历史极性将模型应答拉向自身。
- 在模型基线不确定的item上效应放大：高熵项 d=-0.34，确定性项 d=-0.15。
- 负历史比正历史强1.62倍（配对比率，p<10⁻³⁹），甚至中性50/50历史也导致偏向“否”。
- 偏差不随上下文长度增长：5轮与50轮效果等同（Spearman |r|<0.01），快速饱和。
- 更大模型偏差较小但未消失（如Anthropic: Haiku d=-0.22 → Opus d=-0.17）。
- 机制探针：logprobs显示概率分布连续移动而非阈值跨越；负向不对称同时有token级偏好与语义级原因；历史中偏见轮次的位置无所谓（5轮放在开头、结尾或散布效果相同）。
一句话：LLM评估极易被对话历史中的评价极性“沾染”，且对最难判断的边界案例伤害最大，最简单的救法是给每条评估一个干净的新会话。