RLVR landscapes for iterated multiplications can be benign: Insights from spin-glass theory
迭代乘法的 RLVR 景观可良性：自旋玻璃理论的启示
🧭 RLVR 优化景观与推理训练
Racah Institute of Physics, The Hebrew University of Jerusalem
用自旋玻璃证明 RLVR 算法任务景观无局部极小，困难在扩散障碍与梯度误差；transformer 仅末 token 奖励可学算法思维链
📌 工作参考价值（4 点）
- RLVR 训练卡住时先别归因于景观 rugged：在无关联输入的算法任务中景观通常无局部极小，应优先排查梯度估计噪声与 credit assignment，用更大 batch、动态采样或更稳的 baseline。
- 熵正则项选择是关键：调节 entropy regularizer 可缓解扩散障碍，帮助策略穿过平坦/高熵区域；在 LLM 推理 RLVR 可尝试调高熵系数，避免过早收敛到次优确定性策略。
- 只用 last-token reward 从零训练 transformer 也能学到非交换群乘法的算法 CoT，说明验证奖励加长序列生成可在无中间奖励下学会推理，值得在可自动验证的业务任务（如规则链推理、订单状态预测）尝试。
- 注意理论假设是 tabular/myopic/uncorrelated inputs，直接迁移到真实电商 Agent 需谨慎；但对 RLVR 训练调参和故障排查有方向性参考。