Collective Dynamics of Self-Reinforcement: How Cross-Task Coupling Drives Policy Collapse in Unsupervised RLVR
自强化集体动力学：无监督RLVR中跨任务耦合如何驱动策略崩塌
🧭 RLVR自强化训练崩塌机制
Columbia University
揭示无监督RLVR多数投票自奖励的集体不稳定性，解释训练任务数增加导致模型答案趋同崩塌
📌 工作参考价值（3 点）
- 在电商/推荐场景用自一致性投票或 LLM 自评做无监督 RLVR 时，跨任务共享参数会导致策略崩塌到统一输出；应按 task 或 category 拆分 head/梯度，或显式移除共享方向，避免模型对所有 query 给出相同改写/推荐。
- 任务数越多越容易崩塌。多品类、多目标 RLVR 训练时监控自评 reward 与真实 accuracy 的背离，设置验证集早停；任务规模大时可加大 per-task sharpening 的隔离（如 LoRA per task）降低共享耦合 λ。
- 初始模型置信度低时崩塌风险高。业务冷启动做 RLVR 前先让 LLM 在监督数据上收敛到较自信策略，或用 KL/熵正则项（marginal-entropy bonus）稳定 uniform collective mode，防止退化。