MInTRL: Off-policy Intervention can boost On-policy RL
MInTRL：用稀疏离线干预增强在线策略强化学习
🧭 LLM 强化学习 · 半在线纠错 ★ 深度解读
Amazon Web Services · Boston University
提出 MInTRL：在 on-policy rollout 中由 judge 做稀疏局部纠错，并用 advantage-regression 目标免去 importance sampling
📌 工作参考价值（4 点）
- 在线 RL/Agent 训练中，不要整段用 teacher 轨迹做 SFT 或 off-policy；可在 rollout 里让 judge 按 chunk 定位 first error，只替换错误后缀，随后控制权还给当前策略。工程上按 \n\n 或 code fence 切 step，限制 judge reviews 次数和 continuation 长度，把干预 token 占比控制在约 2–4%，收益最稳。
- 对混合来源轨迹（模型自生成 + 专家修正），不要用 GRPO/PPO 加 importance ratio，改用 sequence-level advantage regression：A(x,y)=r(x,y)-V_ctrl(x)，回归 log πθ/πt 到 A/β；value baseline 只从纯 on-policy control rollouts 估计，能显著降低修正 token 带来的方差。
- 干预 token 的 anchor 可以设为常数 κ，不必依赖 teacher log prob，避免低概率专家 token 被当前策略过度约束；当 base policy 已经较强时，再用原 πt anchor 更稳定。
- 只在训练早期开启 intervention，后期关闭切换为纯 on-policy RL；没有更强教师模型时，可以用 privileged context 让同一模型做 self-judge，对电商/Agent 业务更友好。