GR2 Technical Report
GR2：面向工业级重排序的生成式推理重排框架
🧭 LLM 推理重排序 · Semantic ID ★ 深度解读
Meta AI
通过语义 ID 中训练、推理链蒸馏和可验证奖励 RL，将 LLM 推理引入重排序并解决工业部署瓶颈
📌 工作参考价值（4 点）
- 用 Semantic ID 弥合 LLM 与物品表征鸿沟：传统非语义 ID 不在 LLM 词表中，直接使用会导致推理断裂。GR2 采用的 tokenizer 可将物品映射为≥99% 唯一性的 Semantic ID，并混入中训练语料，使 LLM 能够直接基于物品语义进行推理。电商/广告场景中，尤其适合商品、广告创意这类属性丰富的实体。
- OPD 替代 SFT 防止大规模训练坍塌：当教师-学生大小差距悬殊时，普通 SFT 会出现灾难性遗忘，OPD 以 on-policy 方式用 KL 锚定教师分布，1.7B 学生可恢复 32B 教师 82% 的收益，大幅降低推理成本。在预算有限又需要蒸馏大模型推理能力时，这是比 SFT 更稳定的方案。
- 重排序奖励设计中的反作弊策略：RL 训练时 LLM 会通过直接抄袭输入顺序或利用位置偏差来获取格式奖励分。GR2 采用条件奖励——当输出等于输入顺序且输入非最优时，将排名奖励归零，仅保留格式分，可有效抑制 reward hacking。这对任何使用 RL 做 listwise 优化（如列表广告排序、推荐 feed 排序）的场景都有直接借鉴价值。
- 思考链内部化降低服务成本：在推理增强 RL 后再做一次无 CoT 的 RL 微调，可将推理能力内化到参数中，在推理时无需生成思考链，推理成本降低约 15 倍且排名质量不降。适合对延迟敏感的在线上文，比如搜索广告重排、推荐首屏展示。