Guidance Contrastive Token Credit Assignment for Discrete Policy Optimization
对比引导的离散策略 Token 信用分配方法
🧭 离散策略优化 · 对比引导 · Token 信用分配 ★ 深度解读
UCLA · Panasonic AI Research · NVIDIA
通过对比正负提示的 token 预测差异，为 GRPO 分配 token 级优势，提升图像与多模态推理性能。
📌 工作参考价值（4 点）
- 对于使用 LLM 生成推荐理由、对话等序列的 RL 微调，当仅可获得序列级奖励时，可借鉴 GCPO 的对比引导思路：构造正负提示（如“正确回答” vs “生成错误回答”），利用 KL 散度定位关键 token，分配差异化优势，提升优化信号的信噪比。
- 归一化技巧：直方图均衡化（rank-based normalization）能稳定不同序列间的 token 权重分布，避免 softmax/min-max 对异常值敏感，减少超参数调整，适合工程部署。
- 在商品广告图生成的 RL 微调中，可直接借用 GCPO，以空文本作为负提示，使模型自动关注与商品描述对齐的图像区域，从而提升生成质量与文本一致性。
- 方法无需额外价值模型，与 GRPO/DAPO 等流程兼容，可轻量集成进现有 RL 训练管线。