AI Papers Daily

#MLP

2 篇

GEAR: Generative Expansion and Real Anchoring for Two-Stage Distillation of Tabular Foundation Models

GEAR：生成式扩展与真实锚定的两阶段表格基础模型蒸馏

🧭 表格基础模型蒸馏 · 生成式扩展 ★ 深度解读

Renmin University of China · Ant Digital Technologies, Ant Group · Nanjing University

用生成样本只作为教师查询位置，再用 OOF 真实数据锚定，把表格基础模型压缩为 CPU 可部署的 MLP/树模型

📌 工作参考价值（4 点）

• 在电商/广告场景用大型上下文依赖模型（TFM/LLM）做 teacher、蒸馏到线上轻量模型时，可复用两阶段协议：先用生成样本只作为 teacher query 点、丢弃生成标签，避免 generator 标签 bias；再回到真实样本做 OOF soft/hard 混合锚定。
• OOF teacher prediction 是防自标签泄漏的关键。推荐/广告中如果用 teacher 对训练样本打分再蒸馏，样本本身在 teacher context 里会造成泄漏；按 fold 排除后再 query，能明显提升蒸馏稳定性和泛化。
• 对 LightGBM/XGBoost 这类树模型，直接蒸馏容易不稳定；但先用合成 teacher soft targets 预训练、再真实锚定，二分类 AUC 能超过 CatBoost。适合在现有在线树模型上引入 foundation model 蒸馏，保持工程兼容性。
• 生成器质量决定扩展上限：TabDiff/TabPFGen 优于低容量 Copula/CTGAN；若没有合适生成器，优先用基于真实表条件生成的生成器，生成量 K 控制在 10-20 附近，边际收益已经递减。

Training | 2026-08-19 | stat.ML | score 8/10

knowledge distillationtabular foundation modelssynthetic dataout-of-foldMLPGBDT

Tapered Language Models

锥形语言模型：深度感知的 MLP 宽度分配

🧭 语言模型架构优化 · 深度感知容量分配

Mila · Cornell University · Université de Montréal · CIFAR AI Chair

在总参数固定下，让 MLP 宽度随层深递减（余弦锥形）可免费提升 Transformer 等模型的困惑度与下游性能

📌 工作参考价值（4 点）

• 免费性能提升：在训练推荐领域的 Transformer 模型（如 CTR 预估、行为序列建模）时，可将 MLP 中间宽度按余弦锥形从底层向顶层递减，在零额外参数和计算下获得困惑度或下游指标提升。
• 超参搜索技巧：锥形范围（起始宽度倍数->结束宽度倍数）和衰减形式（余弦 vs 线性）可视为新的架构超参，直接用固定总预算的缩放实验快速寻优，无需改动训练流程。
• 与现有架构解耦：方法不依赖特定注意力机制，可直接叠加到 Gated Attention、Hope-attention、Titans 等变体上，方便复用到自研或改进的推荐模型。
• 强化学习 Agent 内部模型：若 Agent 内部使用 Transformer 作为策略或值函数网络，锥形 MLP 同样可作为低成本的结构性改进，在不增加推理成本的前提下提升模型容量利用效率。

LLM | 2026-06-21 | HF Daily | score 7/10

LLMArchitectureMLPTaperingParameter EfficiencyDepth-aware