Beyond Semantic IDs: Encoding Business-Value Ranking into Document Identifiers for Generative Retrieval
超越语义ID：将业务价值排序编码入文档标识的生成式检索
🧭 生成式检索 · 业务价值排序 ★ 深度解读
Alibaba
提出 CRID，将DocID解耦为语义聚类与业务价值序数排名，实现无冲突、可增量更新的生成式检索，线上GMV提升1.06%
📌 工作参考价值（4 点）
- DocID设计巧思：将业务价值（转化率等）作为序数排名编码到最后一层codebook，简单替换即可获得比OPQ、Sinkhorn等复杂量化方法更大的Hitrate提升，天然无冲突且支持增量更新。
- 增量更新策略：新物品仅需分配到最近的语义簇，每日根据最新业务统计重排簇内排名，无需重训codebook，对线上时效性友好。
- 分析框架复用：通过prefix N-gram匹配度和业务排名分组，可把生成式检索的召回增益拆解为「个性化偏好泛化」与「统计先验泛化」两个维度，进而指导语义簇大小的选取，平衡top-K与deep-K表现。
- 动态beam校准：多级codebook解码时，不同解码阶段的概率分布差异大，可按累积概率截止点分别设定beam size，在保持Hitrate覆盖的同时节省推理开销。