Reasoning Reranking with Semantic IDs as the Sole Item Representation
以语义ID作为唯一物品表示的推理式重排
🧭 SID-only 推理重排
Google · University of Toronto
构建 RERANKID 测试床，证明纯 SID 推理重排可由后训练激发；8B RLVR 在 20 倍更短提示下匹配文本 LLM，但 rationale 不可信
📌 工作参考价值
- 候选 slate 和用户历史可只用 SID tokens 渲染，prompt token 降低 20-28 倍；长历史 (>50k 文本 tokens) 场景下，文本 LLM 停止提升，SID 模型仍保持收益。适合作为 cascade 重排中的省 token 输入，尤其是候选集大、历史长的 feed/短剧/电商猜你喜欢。
- 不要直接 zero-shot 用 SID-pretrained 模型做 slate rerank：base 模型大量返回输入顺序（identity copy）或 reasoning loop。先 SFT 解决接口，再用 RLVR + graded ranking reward（NDCG@5 作为奖励）微调；graded reward 显著优于 binary Hit@1，且只在 8B 级别有效，1.7B 无增益，说明需要模型容量。
- 固定 SID token embeddings，仅 LoRA 训练 backbone，能保留编码在 token 中的协同过滤/偏好信号；无需修改 item 编码体系即可迁移到同类 SID-pretrained 模型。
- 排序质量与 rationale 可信度可能脱节：SID 模型能排对但会幻觉物品描述。落地建议：排序用 SID 省 token，解释/文案只对 top 少数 item 检索 metadata 生成，而不是让模型在 SID-only 下描述物品。
动机 生成式推荐越来越多用 Semantic IDs (SIDs) 表示物品，token 短且 embedding 可从用户行为序列学到偏好信号。但推理式重排现有系统几乎都读可读的 item metadata，prompt 常达数万 token，且无法利用 SID token 中的行为信号。纯 SID-only 的 reason-then-rerank 是否可行，之前未被系统验证。
方法关键点
- 构建 RERANKID 测试床：基于 Kuaishou 短视频交互和 OpenOneRec SID vocabulary；400 个测试用户，每个用户恰好一个行为正样本（likes/follows/forwards 或 long-view）；候选 slate 嵌套（10/20/30/50/100），历史长度嵌套（0/4/8/16/32/64/128/256），同一批用户可分别用 SID-only、text caption、both 三种 item rendering 评分。
- 诊断 base 模型的 interface failure：Identity%（直接返回输入顺序）和 Loop%（reasoning 不停直到 token 上限）。
- 比较四种后训练方法：SFT（Gemini 老师基于 caption 写 rationale+排序，学生只看 SID 模仿）、RFT（过滤 SFT 学生采样中正样本排第一的轨迹）、OPD（on-policy distillation，教师分布蒸馏到 base 学生）、RLVR（GRPO，奖励为 1/log2(1+r)，r 为 positive 的 rank，即 NDCG@5 graded reward；另有 binary top-one 消融）。所有方法用 LoRA，固定 SID token embeddings。
关键结果
- Anchor 设置（k=64, N=30）：8B base SID-only NDCG@5=0.168，远低于文本 LLM（GPT-5.6-Terra 0.256、Gemini-3.6-Flash 0.247）；base 接口失败严重，1.7B Identity% 42.3%、Loop% 16.5%；给 base 模型看 caption 或 both 不能修复，1.7B 甚至变差。
- SFT 消除 Identity 和 Loop，8B NDCG@5 提升到 0.237，1.7B 到 0.225；8B 上 RLVR 进一步提升到 0.277，与 20 倍更长 prompt 的文本 LLM 相当；graded reward 对比 binary top-one 在 8B 上显著 +.045，而 1.7B 无差异。
- 无历史（k=0）时，8B RLVR 仍显著超过 Random (+.079，CI [.039,.118]），Gemini 文本参考与 Random 不可区分；长历史 k=256 时，文本 prompt >50k tokens，SID prompt <2k（约 28 倍差距），8B RLVR 保持收益，Gemini 停止提升。
- Rationale audit：8B RLVR 在 trade-off 论证赢 Gemini 50:0，但 item 描述输 0:66，说明排序能力和物品描述忠实度脱节。
最值得记住的一句话 纯 SID 排序可用 20 倍更短 prompt 匹配长文本 LLM，但标准后训练只教会模型排序，没有教会它如实描述物品；实用方案是排序用 SID，解释文案再查 metadata。