K-EXAONE 2.0 Technical Report
K-EXAONE 2.0 技术报告
🧭 大规模MoE语言模型
LG AI Research
开源750B MoE多语言模型，通过upcycling和难度聚焦训练提升智能体编码与长上下文能力
📌 工作参考价值
- MoE 稀疏激活：在推荐召回或排序大模型中可借鉴，用稀疏专家降低推理成本，尤其适合高吞吐线上服务。
- 长上下文训练：256K 上下文窗口可处理超长用户行为序列或会话历史，直接用于电商搜索中的 query 上下文理解或推荐中的序列建模。
- 多语言能力：10 种语言覆盖，对跨境电商或海外广告场景可直接使用或微调，减少多语言模型部署成本。
- 安全对齐：基于韩语社会文化背景的安全训练，可迁移到内容安全过滤、生成式推荐的合规性审查，定制化安全策略。
动机：LG AI Research 为追赶全球前沿基础模型，将前代 K-EXAONE 升级为 2.0 版本，采用 MoE 架构扩大容量，同时保持推理效率，并重点强化智能体编码、长上下文和多语言能力。 方法：基于前代模型 upcycling，扩展为 750B 总参数、每 token 激活约 37B 的 MoE 模型，支持 256K 上下文长度，语言从 6 种增至 10 种。训练流程包含持续预训练、难度聚焦的中期训练和后期对齐，针对推理、agentic coding、安全进行后训练，安全对齐结合韩国社会文化语境。 结果：在九个评测类别上均超过前代，agentic coding 和长上下文理解提升最大，长上下文检索和安全任务上表现突出，与同规模开源模型（Qwen 3.5、GLM-5.1）竞争，在部分基准（KGC、ROK-Fortress）上优势明显。模型以 Apache 2.0 协议开放权重。