Why Larger Models Learn More: Effects of Capacity, Interference, and Rare-Task Retention
为何大模型学得更多：容量、干扰与稀有任务保留的效应
🧭 模型缩放 · 数据混合中的稀有任务学习 ★ 深度解读
Stanford University · Kempner Institute at Harvard University · MIT · Anthropic
揭示大模型通过减少梯度干扰和增强稀疏观测记忆保留来学习稀有任务，并指导数据混合设计
📌 工作参考价值（4 点）
- 数据混合优于单纯扩模型：若目标任务（如长尾商品推荐、低频 Query 改写）频率极低，直接提升其采样频率可能比扩大模型更高效，文中在真实 OLMo 预训练中验证了这一点。
- 梯度干扰可作为资源分配的监控信号：在多任务学习（如电商搜索的多目标优化、Agent 多技能训练）中，监控频繁任务梯度对稀有任务方向的余弦相似度，可诊断是否发生覆盖式遗忘，进而调整训练策略或动态加权。
- 大模型天然利于长尾任务：工程上若无法大幅提升长尾数据量，可采用更大基座模型（或策略性地增加关键层的神经元数）来保留稀疏但有价值的信号，例如冷启动推荐或低频搜索词的理解。
- “记忆”可辅助泛化：文中指出保留稀有观测的中间特征有助于逐步积累信号、学习可泛化的结构，这启发了在推荐或对话 Agent 中主动缓存并回放长尾样本，以促进从稀疏交互中学习规律。