SPIRAL: Learning to Search and Aggregate
SPIRAL：序列-并行-聚合强化学习统一推理计算扩展框架
🧭 推理计算扩展 · 序列-并行-聚合训练
Stanford University
SPIRAL端到端训练语言模型同时进行并行多条推理链采样与聚合，实现推理计算扩展效率大幅提升
📌 工作参考价值（4 点）
- 并行推理链聚合：在推荐解释、Agent规划等需要深度推理的任务中，可借鉴SPIRAL并行采样多条候选路径再聚合的思路，用较小模型获得更优输出
- Set RL训练方法：训练模型生成一组多样且互补的推理链，直接优化集合对最终聚合结果的贡献，可用于对话策略学习、多臂老虎机创意优选等场景
- 推理计算扩展效率：相比单纯增加单条链长度，并行+聚合可线性提升性能，适合电商场景中控制延迟的同时提高推理质量
- 端到端联合优化：将搜索（生成多条路径）与聚合一起训练，避免分阶段调优的不一致，可直接用于训练Agentic Search系统