Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention
为何大模型学得更多：容量、干扰与稀有任务保留的效应
🧭 模型缩放 · 数据混合中的稀有任务学习
Stanford University · Kempner Institute at Harvard University · MIT · Anthropic
揭示大模型通过减少梯度干扰和增强稀疏观测记忆保留来学习稀有任务，并指导数据混合设计
📌 工作参考价值
- 数据混合优于单纯扩模型：若目标任务（如长尾商品推荐、低频 Query 改写）频率极低，直接提升其采样频率可能比扩大模型更高效，文中在真实 OLMo 预训练中验证了这一点。
- 梯度干扰可作为资源分配的监控信号：在多任务学习（如电商搜索的多目标优化、Agent 多技能训练）中，监控频繁任务梯度对稀有任务方向的余弦相似度，可诊断是否发生覆盖式遗忘，进而调整训练策略或动态加权。
- 大模型天然利于长尾任务：工程上若无法大幅提升长尾数据量，可采用更大基座模型（或策略性地增加关键层的神经元数）来保留稀疏但有价值的信号，例如冷启动推荐或低频搜索词的理解。
- “记忆”可辅助泛化：文中指出保留稀有观测的中间特征有助于逐步积累信号、学习可泛化的结构，这启发了在推荐或对话 Agent 中主动缓存并回放长尾样本，以促进从稀疏交互中学习规律。
动机
大型模型经常能解决小型模型完全无法学习的任务，但除了模型容量不足之外，背后的训练动态原因并不清楚。本文从幂律缩放定律出发，指出即使给予无限数据，小模型的渐近损失依然高于大模型，这意味着数据分布中存在仅靠增加数据无法学到的部分，必须通过扩大模型规模才能习得。作者进而追问：这部分只有大模型能学到的数据分布到底是什么？参数增加如何帮助学习？
方法关键点
- 构造多任务线性回归合成设置：K 个任务按频率 π_k 混合，每个任务具有谱衰减控制复杂度，由此解析出“特征效用” u_{k,j} = π_k λ_{k,j}，最优表示保留效用最高的 N 个特征。
- 理论推导表明，当模型宽度 N 增大时，会首先学习高频/低复杂度任务的特征，低频/高复杂度任务的特征因效用低而被忽略；稀有任务的学习需要跨越一个临界宽度 N_crit，此时高频任务梯度因残差缩小而变弱，不再覆盖稀有特征。
- 提出“减少干扰与更好保留”假说：大模型凭借更多神经元，让频繁任务的梯度更新变得很弱，从而稀有任务的参数更新能在多次观测间积累，形成持续学习；小模型则陷入“更新—遗忘”循环。
- 在真实 LLM 预训练中，采用 OLMo 管线（4M～4B 参数），通过注入可控频率的“比较”和“模加”任务，复制合成实验的行为、表征和梯度三个层面的分析。
关键实验与结果
- 合成任务中，大宽度模型在频率低至 0.25% 的任务上损失明显低于小模型，且仅在残差 δ_F 足够小时稀有任务信号才获得有效编码。
- 匹配频率的注入实验显示：小模型在一次稀有批次后信号迅速衰减到近零，而大模型能保留并累积信号（图 4）。
- OLMo 实验中，令牌频率从 7.8×10⁻³ 到 2.4×10⁻⁸，大模型（1B/4B）在低频任务上训练损失低且测试准确率高，小模型（4M/20M）几乎失败；稀有任务保留受损时，损失随注入间隔 G 单调递增。
- 表征层面，大模型对比较任务的全局排序特征和模加任务的傅里叶模式编码更强；梯度分析显示，小模型（20M）的非任务令牌梯度与任务方向余弦相似度高达 0.10±0.09，而 1B 模型几乎正交（7.58×10⁻⁵），表明大模型有效解耦了通用语言建模与注入任务的梯度干扰。
核心结论
“理解大模型为何学得更多，不能只看模型表达能力，更要看梯度优化下的学习动态——任务频率和数据混合共同决定了哪些特征能被稳定保留并累积为可泛化的结构。”