Scaling Laws for Behavioral Foundation Models over User Event Sequences
用户行为事件序列基础模型的扩展定律
🧭 生成式推荐 · 扩展定律与架构优化
Unbox AI
行为基础模型的参数拆分、批大小、模型/数据分配和负采样均呈现可预测的扩展规律，最优嵌入器占比仅约2%且随计算预算向数据重倾斜。
📌 工作参考价值
- 特征编码器（embedder）设计可极度轻量（总参数量的2%），因为嵌入器参数被复用次数远超上下文编码器，且流行项重复训练严重，大幅降低训练成本。
- 负采样数量应随计算预算增加而扩大，但在10^19 FLOPs后内存成为瓶颈，需引入候选轴检查点或分片，直接指导电商推荐系统在大规模训练时的资源规划。
- 模型/数据分配比低算力时极度数据重（D/N≈340），高算力时靠近Chinchilla法则（D/N≈36），所以在预算增长时逐步增大模型相对数据占比能最大化收益。
- 训练时使用的批内损失与部署时的全目录排名指标存在系统性偏差，临界批大小、最优负采样数等均依赖目标指标，必须先用部署指标校准扩展定律，否则最优配方可能错误转移。
动机：行为基础模型在推荐、支付、反欺诈等工业界广泛使用，但一直缺乏类似语言模型的扩展定律来指导训练资源分配，导致架构设计、批大小、模型容量和负采样等关键超参数只能依赖昂贵试错。
方法关键点：
- 研究统一的两阶段架构：特征化事件嵌入器（多模态特征→向量）+ 解码器Transformer预测下一事件；训练分两阶段：联合训练嵌入器与Transformer，之后冻结嵌入器并用更大负样本池继续训练Transformer。
- 在真实零售交互数据集（10^8 项、10^9 事件）上执行约600次实验，计算预算跨度10^15–10^19 FLOPs，联合扫描四个部署相关维度：嵌入器参数占比（s）、临界批大小（B）、模型与数据分配比（N/D）、冻结后负采样数量（K）。
- 扩展定律拟合：用双项starvation函数拟合嵌入器占比曲线，用Kaplan模型拟合批大小效率，用Hoffmann法拟合模型/数据分配，用starvation+bias模型拟合负采样曲线。
关键结果：
- 计算最优嵌入器占比稳定在s⋆≈2%，因为嵌入器参数每步被触达次数远多于上下文编码器，且热门项重复曝光使嵌入器更易过拟合。
- 最优D/N随计算预算增加而单调下降：从10^15 FLOPs的344降至10^19 FLOPs的36，逐步靠近Chinchilla启发式，表明低算力时显著需更多数据，高算力时模型容量更重要。
- 临界批大小与负采样最优值均依赖评估指标：损失和召回类指标B_crit≈570，位置加权排名指标仅约200–275；最优K在10^5–10^6区间，但损失类偏好更多负样本，且随C增大K⋆缓慢增加。
- 在C=10^19时，所有指标在K=2M仍在提升，但内存已取代FLOPs成为瓶颈，负采样问题转为内存工程问题。
- 跨批内评估与全目录评估：批内损失不能可靠代理全目录损失，但批内排名指标（NDCG@10、MRR@10）在全目录排名中仍保持强相关（ρ>0.9），可作轻量代理。
核心结论：行为基础模型的扩展定律中，评估指标本身就是定律的一部分，选择部署时的真实优化目标再用其拟合扩展曲线，是避免资源错配的核心原则。