OneRetrieval: Unifying Multi-Branch E-commerce Retrieval with an Editable Generative Model
OneRetrieval：用可编辑生成式模型统一电商多路检索
🧭 生成式检索 · 可编辑Semantic ID
Kuaishou Technology
首个兼具高召回与倒排索引级实时编辑能力的生成式检索框架，通过关键词对齐编码和预留槽位实现多路召回统一。
📌 工作参考价值
- 保留槽位实现术语实时注入：在码本中为每个属性组预留少量 token，训练时不绑定具体词，仅通过自路由监督保证可解码；部署后只需更新属性词典和 SID-to-item 查找表即可立即上线新词，无需重训模型，完美替代倒排索引的编辑能力。
- 关键词对齐编码 (KAE) 解耦语义与编辑：将语义标识符的每个位置绑定到可解释的属性词而不是量化嵌入，使编辑能力来源于上游字典，与模型策略分离；同时利用 LM 先验提升召回，位置透明便于 debug 和人工干预。
- 信息论驱动的非均匀容量分配：通过互信息损失聚类将 18 类细粒度属性合并为 6 组，密集组分配更大码本容量（2048 vs 1024），显著减少属性词冲突，提升深层召回（HR@350 达 0.6055）且几乎不增推理成本。
- 四阶段 SFT 联合保障质量与可编辑性：阶段 0 对齐槽位与属性词先验，阶段 2 引入协同共现信号为预留槽路由打下基础，阶段 3 用极小量自路由样本保持预留槽可发射；新增功能与检索质量通过近解耦的 stage 分别保障，避免相互干扰，可直接迁移到其他生成式推荐系统。
动机：工业电商搜索通常采用倒排、稠密、协同三路召回，各自存在语义盲区或长尾偏见，且分支独立训练、人工融合，无法联合优化。其中倒排索引虽然点击转化偏低，却因能在几小时内上线新品或流行词而不可替代。现有生成式检索 (GR) 方法或因闭码本无法编辑新词，或因开放词汇依赖模型泛化而无显式干预机制，均未解决统一召回所需的实时编辑性。
方法关键点：
- 关键词对齐编码 (KAE)：将每条 SID 的 L=6 个位置分别绑定到从物品属性词典匹配的关键属性词，而非量化嵌入，使标识符可解释且利用语言模型先验；码本非层次化，避免实体前缀错误扩散。
- 可扩展码本：每个位置码本分为空、聚类、独有、预留四块，预留 10 个槽位在训练时不绑定词，仅通过第 3 阶段的自路由监督保持可解码；部署后只需在属性词典和查找表中绑定新词即可实时生效。容量按属性密度非均匀分配（密集组 2048，轻量组 1024）。
- 信息论属性合并：基于互信息损失将 18 类细粒度属性聚类为 6 组（ECOM6），确保最少信息丢失。
- 四阶段 SFT：阶段 0 对齐槽位–属性词，阶段 1 对齐内容与 SID，阶段 2 注入协同共现，阶段 3 个性化检索并用极小量样本训练保留槽自路由。
关键结果：
- 离线基准（500 万请求）：OneRetrieval 深层召回 (HR@350) 与最强生成基线 OneSearch 持平（点击 0.6055 vs 0.6007，订单 0.5482 vs 0.5550），远超其他生成和稠密方法。
- 可编辑性：干预命中率 (IHR@350) 达 0.0806，比闭码本量化方法 (如 RQ-OPQ 的 0.0021) 高出一个量级以上。
- 在线 A/B：仅替换倒排索引分支后订单量显著提升；进一步替换稠密分支后，转化无显著变化但 CTR 显著提升，证明单一生成模型可接管几乎整个检索阶段。
核心洞见：将检索标识符对齐到可解释的关键属性词并预留槽位，使生成式检索首次具备倒排索引级别的实时编辑能力，从而可能统一电商搜索的多路召回。