Validity Threats for Foundation Model Research
基础模型研究中的效度威胁：一个因果推断评估框架
🧭 基础模型研究效度评估框架
University of Tübingen · University of Vienna
为节省算力而采用的代理实验、观察性研究、单次运行等策略，会引入统计、内部、外部和构念效度威胁，不可免费换取。
📌 工作参考价值
- 代理实验（Proxy Experiments）的外推风险：在推荐/Agent 研发中，若用小规模模型或代理任务（如点击率预测代在离线收益）来筛选方案，必须验证结论能否跨规模泛化，否则可能错失真正有效的大模型配置。可借鉴论文中对外部效度和构念效度的警示，设计从小到大的校准实验。
- 观察性研究（Observational Studies）中的混淆因子：分析公开模型榜单、开源 Recipe 时，时间、数据泄露、架构更新等混淆变量会导致虚假关联。我们在分析离线实验与在线指标关系时，应像论文建议的那样尝试用因果推断方法（如调整混淆、使用工具变量）替代简单的相关性分析。
- 单次训练内实验（Single-Run Designs）的干扰问题：当在单次训练中比较不同数据点影响（如数据价值、记忆化分析）时，共享模型参数会造成单元间干扰，破坏内部效度。Agent 中做数据 attribution 或行为归因时，需意识到标准 DiD/RDD 等方法的“无干扰”假设在 LLM 中极易违反，可探索独立 canary 注入等理论控制方法。
- 评估框架的迁移使用：论文提出的统计、内部、外部、构念四维效度检查清单可直接用于评审推荐系统的实验设计，例如评估新召回模型时自问：样本量是否足够（统计）？是否控制了混因（内部）？在电商大促数据上训练的结果能推广到日常吗（外部）？离线 AUC 提升真代表用户体验改善吗（构念）？
动机 随着基础模型训练成本爆炸式增长，学界和工业界不得不用更省算力的研究策略来近似理想的大型对照实验，例如：用小规模代理模型（proxy models）推测量化效应、利用公开模型元数据进行观察性分析、或在单次训练过程中抽取因果信息。但这些策略都隐含着未被充分认知的假设，一旦违反就会导致结论无效。本文旨在提供一个系统性的效度威胁分析框架，帮助研究者主动识别并规避这些陷阱。
方法关键点
- 将基础模型研究形式化为因果推断问题：目标是从训练配方（training recipe）到结果（如基准得分）的干预效应估计。
- 引入社会科学的四类效度：统计效度（估计可靠性）、内部效度（因果真实性）、外部效度（可推广性）和构念效度（概念与操作化的一致性）。
- 归纳三大核心研究策略：
- 代理实验法：用更小模型/更短训练/替换处理或结果来近似目标实验，牺牲外部或构念效度换取内部效度。
- 观察性研究法：利用公开模型的技术报告和排行榜数据拟合统计关联，易受混淆因子（如时间趋势、未公开数据配方）影响内部效度。
- 单次运行法：将一个训练过程拆解为多个独立“单元”（如数据点、子词），通过准实验设计（DiD、RDD）估计平均效应，但单元间参数共享产生干扰威胁内部效度，且难以推广到单个单元。
- 提出「效度概况矩阵」（表1），定性标注每种策略在四类效度上的风险等级（•不受影响、•需谨慎、•关键威胁）。
关键结果
- 任何省算力的策略都不提供“免费午餐”：每个策略都对应一个特征效度威胁剖面。例如代理模型的根本威胁是外部效度，观察性研究的是内部效度，单次运行的是干扰导致的内部效度。
- 多个实例证明现有文献中效度威胁被低估：如用微调作为预训练代理会高估隐私泄漏（构念效度问题），用观察性方法得出的缩放规律常忽略数据配方混淆。
- 强调同一研究中组合多种策略时效度威胁会累积，作者需明确声明并多重验证。
最值得记住的一句话
“在基础模型研究中，节省的算力总是以隐藏且有时不可检验的假设为代价，研究者必须时刻问：我的结论在四种效度上分别经得起推敲吗？”