How Reliable Are Semantic-ID Tokenizer Comparisons in Generative Recommendation?
语义ID分词器对比在生成式推荐中有多可靠？
🧭 生成式推荐 · 语义ID碰撞与公平评估
University of Otago · University of New South Wales
揭示语义ID碰撞导致评测指标虚高，提出碰撞修正评估和最小代价零碰撞重分配，促进公平对比。
📌 工作参考价值
- 评估生成式推荐模型时必须进行碰撞修正：标准 Hit@K 等指标基于 SID 序列匹配，当多个物品共享同一 SID 时会被高估，实际线上效果可能严重低于离线指标。建议使用 ItemHit@K 或 ItemNDCG@K，按碰撞组大小均分得分，避免误判。
- 零碰撞重分配提供轻量级公平对比基线：ZCR 只改最后一层码字，通过匈牙利算法最小化重分配代价，可在不改变前缀结构的前提下消除碰撞。对于电商中商品标题高度雷同（如不同规格的同款商品）的场景，该方法可低成本生成唯一 ID，适合离线评测和线上哈希索引。
- 纯语义分词容易撞车，建议融合协同信号：RK-Means 等纯基于文本 embedding 的分词器碰撞率高，尤其是 Yelp 这种商户名称重复多的场景。简单的前融合（PPMI+SVD 协同向量 concat 后 PCA）就能大幅降低碰撞、提升 ItemHit@10（Yelp 上+63%）。在实际推荐系统中，可将协同信号与语义表征一起量化，降低同款商品误合并风险。
- 最小代价重分配优于贪心策略：ZCR 与 MQL4GRec 的贪心最近码分配相比，总重分配代价降低 8–24%，说明在强制去重时应全局优化，避免局部最近邻带来的额外量化误差。对于需要在推理时实时查找物品的场景，更小的码本改动意味着更少的索引重建成本。
动机：在基于语义 ID (SID) 的生成式推荐中，标准评测直接检查生成的 SID 序列是否命中目标序列，并以此计算 Hit@K、NDCG@K。这一做法隐含假设每个 SID 序列唯一对应一个物品，但实际由于向量量化压缩，多个语义相似但协同行为不同的物品常常被分到同一 SID（碰撞），导致 SID 级指标严重高估物品级效果。论文发现，在四个数据集和五种典型分词器中，碰撞率最高达 30.5%，Hit@10 相对真实值最高虚高 103.36%，且高碰撞分词器在传统评测下可能胜出，掩盖了真实排序。
方法关键点：
- 碰撞修正评估 (CCE)：将 Top-K 生成的 SID 序列按碰撞组展开为物品列表，目标物品所在碰撞组若被部分命中，则按在 Top-K 中的命中数量 𝑚 除以碰撞组大小 𝑔 给分，定义 ItemHit@K = 𝑚/𝑔，ItemNDCG@K 类似。该方法直接从生成序列计算，无需重训或改动分词器。
- 零碰撞重分配 (ZCR)：保持前缀 (前 𝐿-1 层码字) 不变，仅重分配最后一层码字以消除碰撞。在每个前缀组内，通过匈牙利算法求解最小总代价的二分匹配，使得改变码字的数量最少且总距离代价最小。当每组物品数 ≤ 码本大小时可保证零碰撞。
关键实验：
- 数据集：Amazon Scientific, Cell, Beauty 及 Yelp，含文本与交互记录。
- 分词器：RK-Means, RQ-VAE, LETTER, QuaSID, MQL4GRec。
- 碰撞率原生状态为 0.59% (QuaSID) ~ 30.52% (RK-Means)，SID 级 Hit@10 虚高从 2.54% 到 103.36%。按 ItemHit@10 重排后，RK-Means 从 SID 级首位掉至末位，LETTER 或 QuaSID 成为最佳。
- ZCR 重组后 ItemHit@10 普遍提升，RK-Means 在 Scientific 上提升 24.1%，LETTER 提升 3.1~9.5%。
一句话：生成式推荐的 SID 评测必须考虑碰撞，否则会选出实际上较差的 tokenizer，而用最小代价重分配可以在不改变前缀语义的前提下获得零碰撞 ID，实现公平比较。