Loop the Loopies!
Loopie：循环MoE Transformer超越普通模型的计算匹配扩展法
🧭 层循环MoE架构 · 计算匹配预训练扩展 ★ 深度解读
IQuest Research
提出层循环MoE架构与计算匹配扩展方案，在相同预训练计算量下首次超越非循环大模型。
📌 工作参考价值（4 点）
- 层循环(layer-loop)设计：逐层迭代再传递，降低激活内存，允许更大micro batch。可迁移到推荐系统中特征交互或序列建模的深层Transformer，在内存受限时用循环换取有效深度。
- 计算匹配扩展方法：从参考模型先减层加循环，内存节省后增大batch size，再投资到宽度上。在业务中可按此思路在给定推理预算下最大化模型容量，尤其适合电商搜索粗排/精排模型的轻量化设计。
- 监督预训练(SPT)：用预训练尺度（大批量、长序列、多轮次）做有监督微调，同时提升通用知识和推理能力，避免灾难性遗忘。可借鉴到业务LLM适配，用大规模业务数据做SPT保持基座能力。
- 循环推理与RL结合：多步循环为推理提供了迭代优化空间，配合分组序列策略优化(GSPO)提升复杂任务规划。可启发Agent在多步决策中引入内循环推理，增强长期规划能力。