GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models
GEAR：生成式扩展与真实锚定的两阶段表格基础模型蒸馏
🧭 表格基础模型蒸馏 · 生成式扩展 ★ 深度解读
Renmin University of China · Ant Digital Technologies, Ant Group · Nanjing University
用生成样本只作为教师查询位置，再用 OOF 真实数据锚定，把表格基础模型压缩为 CPU 可部署的 MLP/树模型
📌 工作参考价值（4 点）
- 在电商/广告场景用大型上下文依赖模型（TFM/LLM）做 teacher、蒸馏到线上轻量模型时，可复用两阶段协议：先用生成样本只作为 teacher query 点、丢弃生成标签，避免 generator 标签 bias；再回到真实样本做 OOF soft/hard 混合锚定。
- OOF teacher prediction 是防自标签泄漏的关键。推荐/广告中如果用 teacher 对训练样本打分再蒸馏，样本本身在 teacher context 里会造成泄漏；按 fold 排除后再 query，能明显提升蒸馏稳定性和泛化。
- 对 LightGBM/XGBoost 这类树模型，直接蒸馏容易不稳定；但先用合成 teacher soft targets 预训练、再真实锚定，二分类 AUC 能超过 CatBoost。适合在现有在线树模型上引入 foundation model 蒸馏，保持工程兼容性。
- 生成器质量决定扩展上限：TabDiff/TabPFGen 优于低容量 Copula/CTGAN；若没有合适生成器，优先用基于真实表条件生成的生成器，生成量 K 控制在 10-20 附近，边际收益已经递减。