A Step Harder, Not a Step Too Far: The Benefits and Limits of Curriculum Difficulty Progression in GRPO
难一点但别太难：GRPO 课程难度递进的收益与上限
🧭 GRPO 课程学习与动态难度调度
Dalian Maritime University
系统刻画 GRPO 训练中样本难度随策略演化，证明中等难度持续选择并非最优，适度递进到更难难度带可提升性能但过度递进有害
📌 工作参考价值
- 在 RLVR/GRPO 训练推荐文案生成、Agent 策略优化时，不要固定使用中等难度样本。可以按当前策略采样 8~32 次估计成功概率，动态划分难度带，并分阶段推进难度带（如从成功率 0.375-0.625 推进到 0.25-0.5），但避免推进到过低成功率区间（如 0.125-0.375），观察到性能非单调下降。
- 初始难度的静态排序会随着策略训练过时：即使全局 Spearman 秩相关高达 0.81，中等难度带的成员保留率只有 20.74%。因此在需要在线数据选择时，必须定期重新估计样本难度，不能依赖训练前一次性难度标注。
- 论文使用的诊断集与训练集分离、基于噪声容忍度的耐心阶段切换策略可直接复用：设定诊断准确率超过噪声容忍度（如 0.0107）才更新 best checkpoint，连续两次未改善则切换阶段，能避免过早切换和噪声波动。
- 中等难度样本（成功率约 0.375-0.625）虽然组内学习信号强，但持续选择并非最优；适度进阶到较难带（0.25-0.5）可获得额外提升。可借鉴该结论设置课程难度带边界，并结合业务数据分布调参。
动机 GRPO 通过组内相对奖励构造更新，中等难度样本（成功概率约 0.5）更可能产生正确/错误混合响应，从而提供非零方差的学习信号，因此被在线选择策略青睐。但两个关键问题未被回答：预先计算的难度估计是否随策略演变而过时；持续选择中等难度样本是否足以最大化最终性能，还是应该向更难样本递进，且递进收益是否单调。
方法关键点
- 将样本难度定义为当前策略下的经验成功率
Pt(x)（采样 G 个响应估计），难度 = 1 - Pt。 - 在 GSM8K 上训练 Qwen2.5-1.5B-Instruct（LoRA），跟踪 1495 个样本在 14 个检查点的成功率变化，统计轨迹跨度、方向反转、秩相关和难度带成员变化。
- 设计三类课程：静态课程（按初始成功率固定排序）、固定中等难度带课程（B3=[0.375,0.625]，在线重采样但难度带固定）、分阶段递进课程（B1→B2→B3→B4→B5，成功率区间依次为 [0.625,0.875], [0.5,0.75], [0.375,0.625], [0.25,0.5], [0.125,0.375]）。
- 分阶段课程使用固定诊断集（每个难度带 128 个独立样本）和耐心准则决定阶段切换：诊断准确率超过噪声容忍度 0.0107 才更新 best，连续两次未改善则切换。
关键实验与结果
- 难度动态：平均成功率从 0.6554 升至 0.7975，但 53.38% 样本至少一次方向反转（δ=0.125）；全局 Spearman 秩相关保持 0.8092，而 B3 难度带最终保留率仅 20.74%，Jaccard 0.1497，说明全局排序稳定但局部成员剧烈变化。
- 静态课程在 step 5500 时计划成功率 0.3986 vs 当前 0.5573，偏差 0.1863，证明预计算难度过时。
- 三随机种子测试集准确率：标准 GRPO 0.6444±0.0026；静态课程 0.6522±0.0022；固定中等 B3 0.6449±0.0024；分阶段递进到 B4 时 0.6591±0.0077，显著高于固定中等；继续递进到 B5 后 100 更新降至 0.6405±0.0053，性能下降。
最值得记住的一句话 GRPO 课程难度递增的收益是非单调的：应结合在线难度估计与适度难度带递进，持续选择中等难度会遗留性能提升空间，而过度递进到过难样本会抵消收益。