RLVP: Penalize the Path, Reward the Outcome
惩罚路径，奖励结果：面向真实世界 Agent 的高效在线学习
🧭 Agent 路径约束与高效在线学习
Pine AI · University of Washington
用可验证的路径惩罚补充结果奖励，在极少交互下同时达成高成功率和近零违规
📌 工作参考价值（4 点）
- 将业务规则转化为可验证惩罚：在面向用户的推荐或客服 Agent 中，把“不频繁打扰”“遵守工作时间”等硬约束定义为一步即可检测的惩罚，与结果奖励叠加训练，可大幅降低违规率。
- 用惩罚注入方差，提高样本效率：当多个 episode 的结果全为失败时，仅靠结果奖励的 GRPO 等算法会因组内优势为零而浪费昂贵 rollout；对路径施加惩罚能产生可用的组内方差，使学习信号更密集，在推送策略、搜索对话等在线场景中快速收敛。
- 避免纯惩罚导致不作为陷阱：论文总结出四条惩罚设计规则，尤其提到不能只用惩罚而抛弃结果奖励，否则 Agent 会学会“不做任何动作”来逃避惩罚；在推荐 Agent 中设计负向信号时需保持正向结果激励。
- 利用路径惩罚提升无违规率可作为业务上线指标：提出“可部署率（violation-free rate）”指标，可用于评估推荐 Agent 在真实环境中的合规表现，作为上线前的 hard gate。