Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning
平衡推理器：通过吸引子学习实现可扩展推理
🧭 迭代推理 · 吸引子动力学
CMU
将迭代推理模型视为学习任务条件吸引子，通过塑造吸引子景观实现测试时深度与广度双轴扩展，无需外部验证器即可大幅提升推理性能。
📌 工作参考价值
- 深度与广度双轴扩展框架：可将迭代更新模块（如推荐系统中的多步状态精炼或 Agent 的多轮推理）设计为权重绑定形式，通过增加迭代步数（深度）和并行采样不同初始状态（广度）来提升性能，并利用残差作为收敛信号提前终止或筛选最优轨迹。
- 训练技巧：随机初始化和路径噪声：在训练多步迭代模型时，用随机潜状态初始化替代固定初始化，并注入轻微噪声，可以扩大正确解的吸引盆地，提高泛化能力和在不同重启下的稳定性。这一思路可迁移到生成式推荐或 Agent 策略训练中，增强对初始条件的鲁棒性。
- 自适应计算分配：结合 ACT 机制，根据样本难度动态分配迭代步数，减少简单样本的浪费计算，将更多资源留给困难样本。在电商搜索或广告系统中，对于简单查询可提前终止深度推理，保持低延迟，复杂查询则允许更多步精炼。
- 残差作为内在置信度：利用固定点残差（∥f(z)-z∥）作为模型自身的置信度指标，无需外部验证器即可进行 top-1 选择或提前停止。在生成式推荐解码或多智体协作中，可使用类似自一致性信号来动态调整计算量或融合候选结果。
动机：测试时计算扩展（如更多迭代或多次重启）常能提升推理性能，但其内在机制仍不清楚。本文提出一种吸引子视角：可泛化的迭代推理源于学习任务条件的吸引子动力学，即内部潜空间中的稳定不动点对应正确解。当模型内部吸引子景观与任务度量景观对齐时，更强的收敛（更低的残差）就会带来更高的准确率。
方法关键点：
- 平衡推理器（EqR）：将迭代更新 视为一个潜动力学系统，通过深度（迭代步数 ）和广度（随机初始化轨迹数 ）两个轴扩展测试时计算。
- 训练干预：引入随机状态初始化（RI）和路径噪声注入（NI）来塑造吸引子景观，使正确吸引子更易到达且盆地更宽。
- 优化方法：采用分段在线训练（SOT）交替更新潜状态和参数，限制梯度反向传播长度以稳定长轨迹训练；自适应计算时间（ACT）根据难度提前终止简单样本。
- 选择信号：利用固定点残差 作为收敛度量，在经良好塑造的景观中，收敛程度与任务正确性紧密相关，可替代多数投票作为高效选择依据。
关键结果：
- 在 Sudoku-Extreme 上，EqR 在 时达到 99.8% 精确准确率，远超前馈模型的 2.6% 及 HRM/TRM≥55% 的水平；在 Maze-Unique 上达到 93.0%。
- 形状化训练使基线从 84.8% 提升至 86.4%（Sudoku），并大幅提升 Maze 准确率（44.9%→82.2%）。
- 使用 ACT 后，在 92.99% 准确率目标下，EqR 所需的平均函数评估数（NFE）仅为基线的 1/3.76，EqR+ACT 更降至 1/11.34。
核心洞见：迭代推理模型应被评估其内部动力学是否使正确解成为稳定、可达、可选的吸引子，而不仅是最终准确率。