xPRT: Cross-Passage Retrieval Pretraining
xPRT：跨段落检索预训练
🧭 无监督检索预训练 · 跨段落对比学习
Microsoft Research
提出无监督跨段落检索预训练框架 xPRT，利用文档内跨段落信号，在 MTEB 上平均超越最强基线 3.2%
📌 工作参考价值（4 点）
- 电商搜索/推荐中的稠密检索模型可用商品详情页、用户评论等长文档内部段落关系构造无监督对比对，无需标注 query-doc 数据，降低训练成本。
- 在已有无监督 checkpoint 上继续预训练时，直接使用常规对比学习目标可能性能回退，xPRT 的跨段落信号能带来互补增益，对检索模型持续预训练有参考价值。
- 工程实现上，可从同一文档内采样正负段落，利用标题、章节、评论段落等结构信息生成难负样本，增强语义区分能力。
- 若业务中已有 RAG 或搜索系统，可将 xPRT 作为额外预训练任务叠加到现有流程，提升检索器在语义匹配任务上的泛化性。