Semantic Retrieval for Product Search in E-Commerce
电商产品搜索中的语义检索：两阶段 Siamese LLM 训练与相对几率对齐
🧭 电商语义检索 · 两阶段训练与偏好对齐
Flipkart, India
通过对比学习与分级偏好对齐两阶段训练，让 LLM 双塔在电商搜索中实现细粒度相关性排序，A/B 实验提升 CTR/加购/下单
📌 工作参考价值
- 两阶段训练可直接用于电商双塔：先用大量行为+标注数据做对比学习，再引入偏好对齐（ROAR）对多级相关性（完全匹配 > 替代品 > 互补品 > 无关）进行精排，离线 MAP@8 提升 5.57 个百分点，在线 CTR/加购/订单均有显著提升。
- 假阴性掩码解决同一商品多规格问题：在对比学习时，如果批次内存在相似商品（如不同尺码），传统负采样会错误地惩罚它们，使用 margin mask（cos(q, d_i) - cos(q, d_pos) < 0.1）自动排除假阴性，可在电商推荐的双塔训练中直接复用。
- ROAR 对齐目标可推广到任意级数：该目标基于条件几率比，支持每组 2～7 个产品，通过连续 odds-ratio 边际实现分级偏好排序，不需要固定标签数，适合电商中“完全匹配 > 替代 > 互补 > 无关”等多级信号。
- 数据增强策略值得借鉴：利用 LLM 做同义词扩展、对抗性拼写扰动、多语言音译，以及从推荐系统的共点击信号和 session 改写中构建替代品监督，可有效提升长尾查询的召回，尤其是品牌、型号等特定词汇的语义泛化。
动机：电商搜索查询短、噪声多、口语化，且商品目录庞大、属性区分精细，传统词法匹配难以捕捉用户意图。大型语言模型作为双塔编码器可以学习查询与商品的统一语义空间，但标准对比训练无法区分“完全匹配”和“可接受替代品”，导致排序粗糙。本文旨在结合对比学习和偏好对齐，构造一个既能精确匹配又能合理排序替代品和互补品的检索模型，并验证其线上收益。
方法关键点：
- 模型架构：Siamese 双塔，共享 Qwen3-Embedding-4B 骨干，使用
token 池化，LoRA（r=32, α=64）高效微调，Matryoshka 表示学习支持 256 维部署。 - 阶段一：对比学习 + 假阴性掩码：InfoNCE 损失聚合多个负样本池，通过 margin mask（δ=0.1）自动排除批次内相似商品，避免将不同规格商品误当作负样本。训练数据包括行为日志、人工标注、推荐系统共点击替代品、session 改写等。
- 阶段二：ROAR 对齐：扩展 Bradley–Terry 到可变大小分级相关组（每组 2~7 个商品），对连续序对计算 odds-ratio 边际，最大化高相关品被选中的几率。损失函数组合原有对比损失与对齐损失（β=0.1），在 200 万条多级标注数据上微调。
- 数据策略：大规模多源训练语料，包括同义词扩展、对抗性字符扰动、多语言音译，以及从推荐系统的共点击信号中抽取替代品，用于区分厂牌名（如“Munch”指特定零食而非通用词）。
实验与结果：
- 离线评估：在 2.5 万查询的人类标注集上，相比生产基线（6 层 BERT 双塔），最终模型（256 维）MAP@8 提升 5.57 个百分点，NDCG@8 提升 3.56 个百分点，AUC 提升 13.13 个百分点。消融实验显示，扩展骨干到 4B 带来最大单次收益（MAP@8 +1.70），ROAR 对齐额外带来 +1.15 MAP@8，数据增强主要提升长尾查询。按查询频度分层，一次查询（Once-Only）提升最高（MAP@8 +8.54），按类目，手机、生活方式提升显著。
- 在线 A/B：部署 3 周后，CTR 提升 2.39%，加购率提升 4.58%，订单量提升 2.62%。推理使用 vLLM 在 H200 MIG 1g.18GB 上，200 QPS 时 P50 延迟 40 ms，P99 延迟 135 ms。
最值得记住的一句话：通过两阶段训练——先对比学习建立粗语义空间，再用相对几率对齐对“完全匹配 > 替代 > 互补 > 无关”的细粒度排序直接优化，可以将 LLM 双塔在电商搜索中的 MAP@8 提升 5.6 个点，且线上 CTR 提升 2.4%。