STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability
STARE：惊喜引导的令牌级优势重加权实现策略熵稳定
🧭 GRPO熵稳定性 · 惊喜引导重加权
Tsinghua University · Tencent Hunyuan
基于惊喜分位数识别熵临界令牌并重加权其优势，配合目标熵闭环门控，稳定GRPO训练中的策略熵
📌 工作参考价值
- 在LLM的RLVR训练（如生成式推荐、对话Agent的策略优化）中，使用令牌级惊喜（surprisal）分位数选取熵临界令牌进行优势重加权，可有效防止策略熵过早坍塌，维持输出多样性，避免模型陷入局部最优。
- 闭环目标熵门控策略可直接迁移：设定一个业务期望的熵目标（如不使生成结果过于单一），在批平均熵低于阈值时自动激活重加权，恢复后回退，实现无过度干预的稳定训练，适用于线上持续学习场景。
- 惊喜分位数代理（top-P%选择代替精确阈值计算）极其廉价，适合大规模分布式RL训练，可在不增加显著计算开销的情况下实施。
- 令牌级信用重新分配（放大正优势高惊喜令牌、衰减负优势高惊喜令牌）能鼓励模型探索“不常见但可能关键”的推理路径，对需要长程反思和自我纠错的Agent应用有直接增益。
动机
RLVR（如GRPO）已成为LLM复杂推理后训练的主流范式，但普遍存在策略熵崩塌：训练中输出多样性迅速消失，策略过早收敛，组内采样同质化加剧，损害相对优势估计，最终制约可训练步数和性能挖掘。已有方法多在轨迹或样本粒度上缓慢衰减熵，缺乏对令牌级崩塌机理的分析。本文通过对GRPO下令牌级熵动态的一阶梯度分析，揭示了令牌级信用分配错配现象，并发现优势-惊喜四象限结构和近临界性，指出仅需对少数高惊喜令牌进行温和的优势重加权即可逆转熵演化方向。
方法关键点
- 令牌级熵动态分解：推导出每步熵变化为轨迹级优势与局部熵敏感函数Φ的乘积，Φ由令牌的概率和分布决定，存在一个临界惊喜阈值，将令牌分为高/低惊喜区，形成四象限：正优势高惊喜令牌增加熵，负优势低惊喜令牌也增加熵，反向则减少熵。
- 惊喜分位数代理选择：在实际训练中，不使用精确临界阈值，而是在正、负优势令牌集中分别按惊喜值排序，取top-P%作为熵临界令牌子集（L⁺和L⁻），简化但有效。
- 令牌级优势重加权：在GRPO的剪裁目标内对L⁺Tokens乘以W>1（放大），对L⁻Tokens乘以M<1（衰减），其余权重为1。该操作只改变梯度幅度，不改变方向，侵入性小。
- 闭环目标熵门控：引入批量平均熵阈值H_tgt，当当前批平均熵低于H_tgt时激活重加权，否则恢复为基准GRPO，形成自动调节，避免过度干预和振荡。
- 固定/自适应权重：常规场景下固定W、M即可；支持根据熵反馈自适应调整W和M，进一步提高稳定性。
关键实验结果
在1.5B至32B参数的Qwen系列模型上，跨越短CoT、长CoT、工具使用三种场景，STARE均稳定训练数千步且熵值维持在目标带宽内。
- AIME24/25准确率：在7B短CoT上，STARE-O1达44.2%/23.8%，显著优于DAPO的35.7%/17.1%；在1.5B长CoT上达53.8%/41.5%，超越GRPO-ds的50.4%/37.4%；在工具使用场景达到53.2%/37.5%，分别提升约6.4%/5.1%。
- 训练动态：GRPO-ds在约1000步后熵趋近于零，准确率饱和；STARE熵稳定在0.3附近，准确率持续攀升至5000步，响应长度和反思令牌同步增长。
- 鲁棒性：W在[1.05,1.5]和P在[5%,20%]范围内均能稳定熵，闭环门控显著降低对超参数的敏感度。
一句值得记住的话：在RLVR中，仅需对一批内惊喜最高的10%令牌施以1.1倍的优势缩放，配合闭环熵门，即可将数千步训练的熵稳定性由崩塌转为受控，并带来4%-8%的准确率提升。