RetrievalFormer: A Dual-Encoder Transformer for Efficient Approximate Nearest Neighbor Retrieval and Cold-Item Recommendation
保持索引开放：共享搜索与推荐系统的推荐侧成本
🧭 双塔检索 · 冷启动与统一索引 ★ 深度解读
Amazon Web Services
量化双塔架构在统一搜索推荐索引中的推荐侧损失与冷启动收益，揭示训练目标的质量-规模权衡
📌 工作参考价值（5 点）
- 双塔架构同时服务搜索和推荐，新物品通过特征编码零样本打分，无需重训即可加入索引，适合电商新品冷启动；ID-softmax 模型需要重训才能覆盖新物品，工程上不可接受。
- 训练目标选择至关重要：full-softmax cross-entropy 比 sampled InfoNCE 在小目录上显著提升召回（MIND-small +54%，ML-1M +6.9%），但显存随目录线性增长，10万级目录即 OOM。实践中可按目录规模选择：<1万用 exact full-softmax，更大规模用采样负样本并做修正。
- 冷启动评估应使用严格 zero-leakage item holdout 协议，避免信息泄漏；特征塔 + 冷冻 CF 融合（简单标量加权）即可同时获得冷启动和暖启动双优，无需额外训练。
- 检查数据 pipeline 中的时间戳精度：float32 量化可能静默改变 LOO 目标，建议用整数时间戳并加 build gate 校验，否则跨模型比较不公平。
- 百万级以下目录，exact full-catalog scan 延迟已足够低（<30ms），ANN 近似索引没有收益且损失召回；超过百万再考虑 IVF-PQ/HNSW，但要关注索引召回对最终指标的影响。