DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections
DAGFormer：面向 Transformer 跨层连接的全局拓扑预测
🧭 Transformer 跨层拓扑预测训练
University of Illinois Urbana-Champaign
引入联合训练的拓扑预测器一次性规划全局跨层连接，以输入自适应强度路由信息，显著提升 Transformer 效率与效果
📌 工作参考价值（4 点）
- 动态连接强度与一次性全局拓扑规划的思路，可用于超大推荐模型中多专家/多塔间的信息路由：不再固定每层连接，而是由轻量预测器根据用户/场景/输入特征决定后续模块间的连接权重，提升模型容量利用率。
- 在训练预算受限时，DAGFormer 用 5B tokens 达到 vanilla 10B 的效果，说明拓扑可学习能降低预训练数据需求；对于电商/广告领域需要频繁微调预训练 LLM 或构建垂直模型，可尝试用类似连接搜索减少算力与数据成本。
- 指令微调后 AlpacaEval win rate 63-70%，并且剪枝下退化最小，表明该架构对下游任务和压缩友好；可用于将大模型蒸馏或裁剪到线上推理服务时，保留路由结构以获得更好的性能-成本平衡。
- 对于 Agent 多步决策，可将“哪些模块/工具互相通信”看作全局拓扑预测问题，由控制器一次性规划整条推理路径的依赖关系，可能取代逐步的局部路由，提升长程任务的一致性。