Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning
Molt：面向智能体强化学习的可扩展PyTorch原生训练框架
🧭 Agentic RL 训练框架 · 异步流式策略优化
NVIDIA
一个轻量PyTorch原生框架，通过异步循环实现策略训练与展开，代码简洁且性能与Megatron堆栈相当
📌 工作参考价值（4 点）
- 快速算法迭代：框架设计为单一研究者可完全掌握的代码量，改动新RL算法只需修改Agent Python程序，适合电商/推荐团队频繁实验新的奖励函数、优势估计或过滤逻辑。
- 异步流式架构：vLLM rollout引擎通过请求路由器和Ray异步队列与训练actor解耦，确保训练数据完全由当前策略生成（无离线数据泄漏），可复用到对话推荐、搜索 Agent 的策略训练，避免分布偏移。
- MoE与多模态支持：框架原生支持混合物专家策略和多模态输入，对电商中的多模态商品推荐、广告文案生成等场景，可直接借助此范式训练大型策略模型。
- 工程实现参考：提供了完整的配方和容器，业务团队可快速搭建起类似的A2C类训练流水线，降低从论文到系统的转换成本。