Causal Foundation Models
因果基础模型
🧭 因果推断 · In-context Learning
Layer 6 AI, Toronto, Canada · TD Bank Group, Toronto, Canada
提出因果基础模型（CFM），在大规模合成数据上预训练，对新数据集通过 in-context learning 零样本估计因果效应
📌 工作参考价值
- 广告/Uplift 建模：将 CFM 作为预训练因果先验，在新 campaign 上零样本估计 ATE/CATE，减少冷启动数据需求；可先在小样本上验证策略效果，再决定是否训练专用模型。
- 合成数据流水线：参照 CFM 训练方式，在业务点击/转化模拟器中大规模生成含 treatment/control 的数据，预训练因果模型，再迁移到真实小样本任务上。
- Agent 决策：营销动作选择、定价折扣、Push 文案等场景中，可内嵌 CFM 估计不同动作的因果效应，避免仅用相关模型误判 ROI。
- 工程实现：论文开源代码和 notebooks 提供可复用的 CFM 架构与合成数据生成方法，可直接作为团队因果推理 baseline。
动机
传统因果推断每个新问题都需要定制 pipeline：先提出因果机制，再选择估计器并训练。而机器学习已转向 foundation model 范式：一次大规模预训练，迁移到新任务无需微调。论文将这一范式引入因果推断，提出 Causal Foundation Models（CFMs），目标是预训练一次即可在新数据集上估计因果量。
方法关键点
CFMs 是预训练神经网络，在大规模合成因果数据集上学习估计因果量（如 average treatment effect, ATE）。对新数据集，CFMs 通过 in-context learning 直接输出估计结果，无需任何模型更新。论文提供实用入门，总结了因果推断与机器学习的必要背景，并给出可运行的 Jupyter notebooks 和完整代码库。
关键结果数字
本文是范式介绍与教程型工作，未报告新的实验基准数字；主要贡献是展示 CFMs 能对全新数据集做零样本因果估计，并提供可复现代码。