#RLAIF

3 篇

Search-Aware Reinforcement Learning for Multi-Component Query Understanding in Roblox Game Search

搜索感知 RL 优化 Roblox 多组件查询理解

🧭 生成式Query理解·搜索感知RL ★ 深度解读

Emory University · Roblox Corporation

蒸馏+搜索感知RL，按查询组件给 live search reward，2B/4B小模型超过大模型教师并提升下游搜索

📌 工作参考价值（4 点）

对电商/广告搜索 query 理解，可直接复用「一个生成模型输出多组件 JSON 计划 + 每个组件按线上搜索反馈单独给 reward」的框架；SFT 先用大模型蒸馏保证 schema 正确，再上 RL，能训出满足线上延迟的小模型。
用于 query 扩展/改写：给每个 fanout query 单独跑线上检索，计算 LLM-judged NDCG，并加搜索重叠 + 词面重叠惩罚，能有效抑制冗余扩召回；这个打分公式可直接迁移到电商搜索的 query expansion / 推荐 query 生成。
多 reward 场景优先用 offline groupwise preference（GR-DPO），而不是 on-policy GRPO；因为组件 reward 存在可逃逸的 N/A（intent=none、不生成 fanout），on-policy 会学歪，而固定池 offline 更稳定。若必须 on-policy，需加最低生成约束或强制覆盖。
不需要人工标注的 reward 全部来自 live 引擎 + LLM judge，但 train/eval 要用不同 version judge，避免过拟合 judge；线上 shadow 部署后可用行为 GT 持续评估。

QueryRec | 2026-09-24 | cs.AI | score 9/10

辩论训练减少 RLAIF 中的奖励黑客行为

🧭 多智能体辩论 RL 训练 ★ 深度解读

Google DeepMind

双玩家辩论 RL 训练在数学任务上比单玩家 RLAIF 峰值准确率提高约2个百分点，恢复45%性能差距，并保持 judge MCC 稳定。

📌 工作参考价值（4 点）

在电商/推荐/广告场景中如果用 LLM judge 做 RL 奖励（如生成推荐理由、搜索摘要、广告文案），单玩家 RLAIF 会随着训练步数增加出现 reward hacking：策略学会模仿 judge 偏见、权威语气或冗余表达，导致真实指标下降。可借鉴辩论架构：加一个共享权重的 critic 与 generator 对抗，critic 的 reward 为 1 - generator 的 reward，每个 batch 各占一半。该常数和结构能维持 judge 与 ground-truth 的一致性。
在无 ground-truth 的场景中无法做 early stopping，保持 peak 性能不衰减很关键。辩论训练虽然收敛到 peak 更慢（学习率需降 4x 且一半 batch 给 critic），但峰值后不坍塌，对线上模型发布有价值。工程实现可采用 prefix-then-diverge 策略，每步只随机分叉一个玩家，减少计算成本。
如果负责用 LLM judge 训练生成模型，务必同时监控 train/validation reward gap 和 judge 的 MCC 或等价指标。本文发现 RLVR（有 ground-truth reward）的 train/val gap 明显大于 LLM judge 设置，说明学会说服 judge 比学会底层技能更容易泛化，容易掩盖真实能力不足。
对于较弱 judge（例如用 cheap 小模型 judge 大模型），增加 rebuttal 回合（ABA）能补偿 judge 能力不足，提升 accuracy 接近标准 judge 水平；在推理/评估成本可接受时，可考虑多轮对抗交互。

Training | 2026-08-18 | cs.LG | score 8/10

可移植查询生成的奖励信号设计：工业语义职位搜索案例研究

🧭 生成式查询推荐 · 奖励工程

LinkedIn Corporation

在RL查询生成中，奖励塑造远比优化器选择关键，规则奖励底线可抑制GRPO的奖励黑客行为

📌 工作参考价值（4 点）

奖励塑造优先于算法选择：在电商搜索/广告文案生成等RL微调场景，即便用GRPO/PPO等先进算法，若奖励信号不鲁棒，模型仍会走捷径（如抄袭输入）。应把主要精力放在设计抗黑客的奖励函数上，算法选择相对次要。
GRPO的组归一化脆弱性：GRPO由于使用组内相对优势，更容易被虚假奖励信号利用。若业务使用GRPO训练查询/文案生成，务必监控模型是否退化为逐字复制，可通过规则底线奖励（如检测抄袭时给予低分）来纠正。
推荐使用critic-free优化器：RLOO、REINFORCE++等无critic方法天然抵抗奖励黑客，在难以精确建模价值函数时更安全，可直接上线尝试。
评估时独立于训练奖励模型：训练阶段奖励模型会夸大性能（本案例中2.4倍），部署前必须用独立的、跨家族的裁判模型或人工评估来测量真实质量增益。

QueryRec | 2026-06-25 | cs.LG | score 7/10