CausalMix: Data Mixture as Causal Inference for Language Model Training
CausalMix：通过因果推断优化语言模型训练数据混合
🧭 数据混合优化 · 因果推断
Tsinghua University · Ant Group · Renmin University of China
将数据混合优化转化为因果推断问题，利用CATE从小规模实验外推到大规模模型与数据
📌 工作参考价值（4 点）
- 推荐模型多域数据配比：电商推荐中常需融合搜索、推荐、广告等多域数据，可借鉴CausalMix用小规模代理实验+因果模型推断最优配比，避免大规模重训。
- 混杂因子控制：将数据域特征（如长度、难度）作为协变量，显式建模以剔除伪相关，提升配比泛化性，适用于动态数据池下的训练策略调整。
- 外推能力：方法支持从0.5B模型外推到7B模型，从512次运行外推至800K数据池，可降低推荐模型在不同规模、不同时段数据上的配比试错成本。
- 可解释性工具：CATE Interpreter提供可视化的混合策略分析，可帮助理解不同数据域对下游任务的影响，指导人工调参。