Reinforcement Learning without Ground-Truth Solutions can Improve LLMs
无需标准答案的强化学习提升LLM性能
🧭 无真值答案的RL训练 · 校准奖励
University of California, San Diego · Snowflake AI Research
通过排名诱导的可验证奖励框架，在无真值答案的得分任务上训练LLM并泛化至精确解基准
📌 工作参考价值（4 点）
- 在推荐系统 RL 训练中，若奖励来自用户行为等连续值，不同用户或场景的奖励幅度差异会导致 scale dominance，可借鉴 实例级归一化 或 排名奖励，而非使用原始绝对分数。
- 于在线学习或探索场景，频繁出现的次优解可能淹没偶然的高质量样本（frequency dominance），可对每个 queries 组内解进行排名，仅对 top-k 赋予显著正奖励，其余给予有界负反馈，稳定策略更新。
- 利用 得分型优化任务（如离线的时长/收益预估）作为辅助训练环境，无需人工标注真值，通过校准的连续奖励提升模型通用能力，可能迁移至生成式推荐中的物品排序或文案生成。
- 奖励塑造中保留对 有效但非最优解 的信息（如温和负奖励或 entropy 奖励），预防模型过度集中，保持探索性，类似推荐中的 diversity 考量。