Truncate or Not? A Scaling Study of Looped Transformers with Truncated Backpropagation
截断与否？循环Transformer截断BPTT的缩放研究
🧭 循环Transformer训练与缩放律
MMLab, The University of Hong Kong · Yale University
拟合统一缩放律发现完整BPTT优于截断，两圈循环用27%少参数和8%多计算达到更低验证损失
📌 工作参考价值（3 点）
- 若在推荐/广告模型中采用共享层块的循环结构以减少参数量，不要为了省显存而截断BPTT；在同等总计算预算下，完整BPTT通过更少前向循环反而效果更好，可优先降低循环次数而非截断反向传播。
- 缩放律表明截断会“折扣”有效参数，因此在估算模型容量或做资源规划时，应把截断后的有效参数而非原始参数纳入考虑，尤其对于参数量敏感的端侧或在线学习场景。
- 当业务强约束参数量（如模型部署在边缘设备），可考虑训练两圈完整BPTT的循环Transformer，比计算最优非循环模型少约27%非embedding参数，且仅需多约8%训练计算，适合参数受限但训练算力相对宽裕的情况。