BACH: A Bayesian Admixture of Contrastive Heads for Multi-Interest Two-Tower Retrieval
BACH：多兴趣双塔检索的贝叶斯混合对比头模型
🧭 多兴趣双塔模型 · 变分混合路由 ★ 深度解读
Amazon
将多兴趣检索建模为用户混合模型，用变分推断产生软路由和个性化权重，缓解头坍缩并提升 top‑rank 质量。
📌 工作参考价值（4 点）
- 用软路由替代硬 argmax：训练时每个头都接收梯度，直接缓解 winner‑take‑all 头坍缩。电商多兴趣场景可避免热门品类独占所有头，提升冷门兴趣召回覆盖。
- 学习 per‑user 兴趣重要性权重 π_u：由门控塔单独产出，服务时结合到排名分数中，替代简单的 max‑union 或均匀加权。电商推荐中不同类目偏好强度差异大，用学习的重要性权重可更精准分配展示配额。
- 全局兴趣码书 + 预计算检索：当兴趣头固定为全局码书，仅 π_u 个性化，候选列表可离线预计算，实时服务只需按 π_u 重排缓存列表，省去每个用户的 ANN 查询。适合延迟敏感的大规模电商检索，且支持冷启动与新上下文快速适配。
- 训练‑服务一致性带来显著增益：实验证实对所有候选做 max‑over‑heads（all‑multihead）比仅在正样本上取 max 有 9–29% R@100 提升，提醒应始终让训练评分规则与服务一致。