MetaRubric: Learning to Reward for Rubric-Based Reinforcement Learning
MetaRubric：面向 Rubric RL 的奖励学习
🧭 LLM RL · 奖励学习与 Rubric 自适应
NTU Singapore
提出 MetaRubric，交替证据感知策略优化与响应引导的 Rubric 自适应，解决 Rubric RL 的虚假信用问题，在医学 QA 上超越静态 GRPO
📌 工作参考价值（4 点）
- 在用 LLM-as-judge 对生成内容（推荐理由、广告文案、Agent 回复）按 rubric 打分时，注意“虚假信用”风险：模型可能未包含要求的实体、动作或信息却获得高分。可增加证据感知的检查层：匹配响应中是否出现支撑某 criterion 的关键短语/实体/工具调用，否则该 criterion 记零分或低权重。
- 构建反事实 prompt 校准 rubric：电商场景可修改商品关键属性（价格、库存、适用人群）生成反事实问题，让 rubric 对上下文事实敏感，避免通用 rubric 给出与事实不符的高分。
- 采用“策略优化 ↔ rubric 自适应”交替训练：定期用线上 badcase 或当前策略响应更新评估 prompt 和 rubric 的 criterion 权重，形成闭环，提升后续 RL 训练的奖励质量。
- 证据感知的奖励塑形可减少 reward hacking：仅当生成内容包含支撑证据时才给予 partial credit，能降低模型用套话或格式正确但信息缺失的响应骗取高分的概率。