TRIAGE: Direction-Aware Mismatch Stabilization of Native NVFP4 Reinforcement Learning
低精度RL中方向感知的Learner-Sampler失配稳定化（TRIAGE）
🧭 低精度 RL 训练稳定性 ★ 深度解读
InfiX.ai · NVIDIA
提出TRIAGE，通过方向感知门控与修复稳定NVFP4强化学习，实现近BF16性能与2.3倍rollout吞吐
📌 工作参考价值（4 点）
- 在生成式推荐/Agent RL 中采用低精度（FP8/NVFP4）加速 rollout 时，不要只按 importance ratio 的 magnitude 做 TIS，应结合 advantage sign 和 learner-sampler gap 的符号，选择性抑制会放大 mismatch 的更新方向（A<0 & δ<0）。
- 用 segment 级（如 64 tokens）而非 response 级或 token 级统计来诊断训练-推理不一致，能更早发现局部风险，避免全局均值掩盖崩溃前兆。
- TRIAGE 的 bounded repair 设计可借鉴：只在 positive advantage responses 上施加 pseudo-Huber penalty，使修复项与 reward 方向一致，不与 policy gradient 对抗。
- 保留 native 低精度前向，仅修改 loss/优化目标，可兼顾吞吐与稳定性，适合大规模线上 RL 训练。