What Outcome RL Buys: Finishing, Reliability, Rarely Reach
结果奖励 RL 买到了什么：完成、可靠，很少是全新可达
🧭 Outcome RL 训练效果分解与归因
Individual Researcher
将 outcome RL 的 pass@1 提升分解为完成、可靠与可达，发现主要改善完成和稳定性，很少带来新能力
📌 工作参考价值（4 点）
- 在 LLM Agent / 搜索改写 / 生成式推荐等有 token 预算或延迟上限的场景，评估应区分 finishing（限时内是否答完）与 reliability（答完后是否做对），否则容易把超时当成不会做，误判模型能力。
- 如果线上 LLM 生成 query、文案或推理链路经常因超时截断，优先增加 token 预算或压缩推理长度，比盲目上 outcome RL 更直接；本研究显示基础模型在更多 token 下能自我缩小大部分 finishing gap。
- Outcome RL 的收益主要是稳定性/一致性，而不是解决全新问题；在推荐/广告的 LLM pipeline 中，更适合用它来做排序一致性、生成候选再打分等稳定性优化，而不是期待它探索完全未见过的新 item 或新 query。
- 线上监控可同时跟踪 finishing rate、reliability 和 reach 三类指标，先定位瓶颈；例如如果 finishing 已经很高，但 reliability 低，再考虑 RL 或样本重排等策略。