EPIC: Explicit Posterior Item Conditioning for Semantic ID Diffusion Recommendation
显式后验物品条件化的语义 ID 扩散推荐
VinUniversity · Griffith University · Aalborg University
在语义 ID 扩散解码中显式构造可行物品后验并回注 token logits，使物品竞争在目标仍可达时发挥作用
📌 工作参考价值
- 在生成式推荐/SID 模型的迭代解码里，不要只盯着 token logits：每个中间状态可以用倒排索引或字典树快速得到与已解析 SID 一致的候选商品集合，显式计算 item posterior 再边际化回未解析位置。这能减少早期 token 决策误杀高潜商品的问题，尤其适合候选集较大的电商目录。
- 训练时用 frozen backbone + 轻量 adapter，只在候选集大小 2~M 的 frontier 状态做 item-level 监督，并用 SID 或语义编码距离给 heavily masked 状态做软标签。新增参数很少（论文中 0.39M），线上仅多一次候选扫描和 attention，不增加 backbone forward，适合在已有排序/生成模型上增量上线。
- 要把候选 proposal 和偏好打分分离：候选集剪枝可以用 backbone token likelihood，但 item posterior 的 energy 不要再加 token likelihood，否则会重复使用同一信号并损害 ranking。融合 token 和 item 证据时，可用 signed log-residual + ambiguity-aware gate，而不是简单凸混合。
- 历史交互建模使用 candidate-conditioned transition evidence：让每个候选商品与用户最近 K 个交互做 attention，并拼 element-wise product 和 absolute difference 特征，使不同候选从不同历史获得支持；这比单一 pooled history vector 更有区分度，可用于电商中的下一件购买、搭配推荐或广告候选打分。
动机 SID 生成式推荐把下一物品预测转化为离散语义 ID 元组生成。近期 masked-diffusion 方法通过双向上下文和迭代去噪改善 token 生成，但仍以 token 级分布做决策。然而在任意去噪中间状态，已解析的 SID 位置已经把候选物品约束为 feasible candidate set；token 级解码只决定这个集合如何收缩，不显式比较完整物品。局部合理的 token 可能提前淘汰真正目标，一旦被淘汰后续无法恢复。这就是 token–item inference gap。
方法关键点
- 在冻结的 masked-diffusion backbone 上，每步由 partial SID 精确计算 feasible candidate set，并用 backbone token likelihood 做 proposal 选出最多 M 个 retained support。
- 候选商品和最近 K 个历史物品共享 structured item representation，包含 SID code embedding、位置 embedding 和 pairwise SID head interaction；历史经 GRU 汇总后，对候选生成 candidate-specific transition evidence。
- 对 retained support 计算归一化 item posterior，且不把 token likelihood 二次加入 posterior energy，保持 proposal 与 preference 打分分离。
- 将 item posterior 精确边际化到未解析 SID 位置，得到 item-to-token marginal；再通过 ambiguity-aware gate 以 signed log-residual 方式融合到 backbone token logits。
- 训练采用 frontier-aware learning：只在 2≤|C_t|≤M 的状态做 item-level 监督，并用 SID Hamming distance 对 heavily masked 状态构造平滑标签。只训练轻量 adapter，backbone 冻结，无需额外 forward。
关键结果 在四个 Amazon 5-core 基准（Beauty/Sports/Toys/Musical）16 个 Recall/NDCG 指标上全部优于 SID 生成、masked-diffusion 和 ID-based baseline；相对第二好的提升为 1.2%–16.8%，其中 Toys NDCG@5 +16.8%、NDCG@10 +14.1%，Beauty NDCG@10 +13.1%，Sports NDCG@10 +12.9%。参数方面 adapter 仅 0.391M，比全量 LLaDA-Rec 少 94.3%，推理延迟增加 34.2%，峰值内存几乎不变。机制分析显示 inline 反馈比 post-hoc 在 NDCG@5 提升 15.7%–26.8%；去掉 transition memory 使 Beauty NDCG@5 下降 15.13%；替换错误用户历史下降 12.4%–17.9%。
最值得记住的一句话：在 masked SID 解码中，partial SID 定义的 feasible item set 才是需要显式竞争的假设；把 item posterior 回注 token logits，可以在目标仍可达时保护它，而非等生成结束再重排。