Search-Aware Reinforcement Learning for Multi-Component Query Understanding in Roblox Game Search
搜索感知 RL 优化 Roblox 多组件查询理解
🧭 生成式Query理解·搜索感知RL ★ 深度解读
Emory University · Roblox Corporation
蒸馏+搜索感知RL，按查询组件给 live search reward，2B/4B小模型超过大模型教师并提升下游搜索
📌 工作参考价值（4 点）
- 对电商/广告搜索 query 理解，可直接复用「一个生成模型输出多组件 JSON 计划 + 每个组件按线上搜索反馈单独给 reward」的框架；SFT 先用大模型蒸馏保证 schema 正确，再上 RL，能训出满足线上延迟的小模型。
- 用于 query 扩展/改写：给每个 fanout query 单独跑线上检索，计算 LLM-judged NDCG，并加搜索重叠 + 词面重叠惩罚，能有效抑制冗余扩召回；这个打分公式可直接迁移到电商搜索的 query expansion / 推荐 query 生成。
- 多 reward 场景优先用 offline groupwise preference（GR-DPO），而不是 on-policy GRPO；因为组件 reward 存在可逃逸的 N/A（intent=none、不生成 fanout），on-policy 会学歪，而固定池 offline 更稳定。若必须 on-policy，需加最低生成约束或强制覆盖。
- 不需要人工标注的 reward 全部来自 live 引擎 + LLM judge，但 train/eval 要用不同 version judge，避免过拟合 judge；线上 shadow 部署后可用行为 GT 持续评估。