SLAI T-Rex: Full-Parameter Post-training of the DeepSeek-V4 Family on Ascend SuperPOD
SLAI T-Rex：在昇腾超节点上对DeepSeek-V4家族进行全参数后训练
🧭 万亿参数MoE全参数训练优化
Shenzhen Loop Area Institute
在昇腾NPU超节点上实现万亿参数MoE模型全参数后训练，达34.22% MFU，并构建运筹优化领域专用模型
📌 工作参考价值（4 点）
- 大规模MoE分布式训练优化经验可迁移到推荐模型训练：模型并行+流水线并行组合、计算与通信重叠编排、低层核函数优化等技巧，能直接提升推荐大模型训练效率与MFU
- 领域数据构建管线：结合收集资源和求解器验证的合成数据，可用于构建电商搜索/广告/Agent场景下带强逻辑验证的微调数据集，例如用业务规则引擎验证生成式推荐结果的合理性
- 全参数后训练相比LoRA等轻量微调能更深层地注入领域知识，适合需要强结构化推理的任务（如广告策略生成、复杂购物决策Agent），在算力资源允许时值得尝试
- 昇腾NPU上的全栈优化实践表明，从并行策略到算子级别的适配可带来明显加速，对国产化推荐系统基础设施的选型与调优有参考意义