Is Position Bias in Dense Retrievers Built In-or Learned from Data?
密集检索器的位置偏差是内置还是源自训练数据？
🧭 检索增强生成中的位置偏差分析
Sionic AI
通过控制训练数据中证据位置分布，发现位置偏差主要由训练数据偏斜导致，平衡训练可显著缓解偏差。
📌 工作参考价值
- 训练数据平衡策略：在电商搜索/推荐召回模型训练中，刻意平衡正样本中关键信息的出现位置（如商品标题、描述的头部、中部、尾部），可减少模型对文档起始位置的过度偏好，提升长尾商品的召回机会。
- 评估基准设计：构建位置感知的评估集，检测线上召回服务是否存在位置偏差，尤其对 RAG 或基于文档的推荐场景，防止因信息靠后而被忽略。
- 微调阶段偏差矫正：微调预训练模型时，即使基础模型有内置的位置偏好，通过平衡的位置分布数据仍能有效重塑其行为，这对迁移学习到垂直领域（如法律、医疗文书）有指导意义。
- 多文档输入的结构化处理：在 Agent 多文档推理或 RAG 流水线中，可对输入文档进行预处理，如抽取关键段落重排或添加位置无关的提示，以降低下游任务受原始文档位置偏差的影响。
动机：密集检索器普遍存在位置偏差，优先关注文档开头的信息，导致检索性能下降。现有研究多归因于模型架构，本文转而探索训练数据中证据位置分布的影响。
方法：构造合成数据集，控制查询相关证据在文档中的出现位置（开头、中间、末尾），得到偏斜和平衡两种训练分布。在 8 种架构各异的预训练模型上进行微调，并从检索性能和表示层面分析偏差变化。
结果：偏斜训练使模型强烈偏向对应位置；平衡训练有效降低了 57–87% 的位置敏感性，且在控制实验中保持竞争力的平均检索性能。表示分析表明，微调能重塑位置偏好，但部分模型仍保留预训练或架构相关的固有倾向。论文明确指出，训练位置分布是可控的关键因素，并提出平衡数据管理作为一种实用的偏差缓解策略。