Compote: Collapse-Resistant Multiple Hypothesis Learning For Sequential Recommendation
COMPOTE：抗坍缩多假设学习的序列推荐
🧭 多假设序列推荐 · 抗坍缩训练 ★ 深度解读
Criteo AI Lab, Paris, France · Sorbonne Université, CNRS, ISIR, Paris, France
用退火 winner-takes-all 训练多假设头防止坍缩，仅凭 item ID 超越生成式与多兴趣基线
📌 工作参考价值（4 点）
- 可直接迁移的训练目标：共享 Transformer 编码器 + 多个独立 MLP 头，用 ℓτ = −τ log Σ_m p_{m,y}^{1/τ} 训练；从高温均匀更新退火到低温 winner-takes-all，能稳定地让多头按商品类目/意图区域分化，替代依赖路由或多样性正则的多兴趣建模。
- 推理侧用 max-similarity 聚合 cosine 分数即可，无需 catalogue-wide softmax 归一化；论文验证各头 logZ 方差很小，因此可直接接入向量数据库/ANN 检索，适合电商大目录低延迟召回。
- 诊断多头是否坍缩：记录测试集上各头输出方向的平均 pairwise cosine similarity；若接近 1.00，说明架构或路由没用，先换退火 WTA 目标，而不是继续加容量或加 MoE。
- 做消融时用等容量单头模型、等权 ensemble、routing/MoE 三个对照，可干净地归因多假设目标本身；电商场景中用户短会话天然多意图，多假设头比单头更能覆盖候选意图。