#AgenticRL

4 篇

SkillRise: Agentic Reinforcement Learning for Cross-Task Skill Evolution

SkillRise：面向跨任务技能进化的智能体强化学习

🧭 Agent 多任务技能进化与文档迭代 ★ 深度解读

Zhejiang University · National University of Singapore · Shanghai Jiao Tong University · Meituan

将相关任务序列化并用单一策略交替执行任务解决与技能文档演化，以解耦信用分配实现跨任务技能迁移

📌 工作参考价值（4 点）

跨任务技能积累范式：对于电商搜索/推荐Agent，可将不同商品类目下的搜索/推荐任务视为同一任务族，按难度递增构造序列，使Agent在解决简单任务后沉淀通用策略，再迁移到复杂任务，减少重复探索。
演化文档作为记忆载体：在投放策略优化或多轮对话中，让Agent维护一份技能文档（例如“高价商品推荐要点”），每次任务后自动更新，替代外部记忆库的复杂维护，降低工程复杂度。
解耦信用分配：将“执行当前任务”与“为后续任务总结经验”的奖励分离，执行用即时反馈，总结用后续任务折扣回报，避免两者相互干扰，适合广告出价、查询改写等需要平衡即时效果与长期学习的场景。
测试时持续提升：SkillRise展现的随着相关任务序列增加性能递增的特性，可应用于在线服务中持续积累跨请求的经验，无需重新训练即可利用历史交互不断优化策略。

Agent | 2026-07-28 | HF Daily | score 8/10

Molt: A Scalable PyTorch-Native Training Framework for Agentic Reinforcement Learning

Molt：面向智能体强化学习的可扩展PyTorch原生训练框架

🧭 Agentic RL 训练框架 · 异步流式策略优化

NVIDIA

一个轻量PyTorch原生框架，通过异步循环实现策略训练与展开，代码简洁且性能与Megatron堆栈相当

📌 工作参考价值（4 点）

快速算法迭代：框架设计为单一研究者可完全掌握的代码量，改动新RL算法只需修改Agent Python程序，适合电商/推荐团队频繁实验新的奖励函数、优势估计或过滤逻辑。
异步流式架构：vLLM rollout引擎通过请求路由器和Ray异步队列与训练actor解耦，确保训练数据完全由当前策略生成（无离线数据泄漏），可复用到对话推荐、搜索 Agent 的策略训练，避免分布偏移。
MoE与多模态支持：框架原生支持混合物专家策略和多模态输入，对电商中的多模态商品推荐、广告文案生成等场景，可直接借助此范式训练大型策略模型。
工程实现参考：提供了完整的配方和容器，业务团队可快速搭建起类似的A2C类训练流水线，降低从论文到系统的转换成本。

Agent | 2026-07-21 | HF Daily | score 7/10

AgenticRL PyTorch TrainingFramework MoE Asynchronous NVIDIA

When Does Muon Help Agentic Reinforcement Learning?

Muon 何时对智能体强化学习有帮助？

🧭 智能体 RL 的优化器选择与联合调参

Renmin University of China · Institute of Computing Technology, Chinese Academy of Sciences · Duke University · Institute of Automation, Chinese Academy of Sciences · Zhejiang University

稀疏奖励智能体 RL 中，Muon 仅作用于隐藏矩阵，在低学习率下使成功率最高达 0.901，远超 AdamW

📌 工作参考价值（4 点）

在 LLM 驱动的智能体决策任务（如多轮对话推荐、搜索 Agent）中，可尝试用 Muon 替代 AdamW 进行 RL 微调，尤其只对 Transformer 隐藏权重矩阵应用，以避免全参数替换带来的灾难性遗忘。
低学习率（如 1e-5）是 Muon 发挥优势的关键，联合调整 advantage estimator 和优化器能显著提升策略学习效率，实现在线推荐场景下更早达到可用成功率。
Muon 避免了元素级自适应状态，内存开销更低，适合需要在有限资源下进行实时策略更新的在线推荐系统。
目前是单 seed 探索，但的提升幅度（+88%~460%）值得在业务中做多 seed 消融实验，验证其在商品搜索、内容推荐等稀疏奖励任务中的稳定性。

Agent | 2026-07-17 | cs.LG | score 6/10

Muon AgenticRL GRPO GiGPO optimizer learning rate

From Correctness to Preference: A Framework for Personalized Agentic Reinforcement Learning

从正确到偏好：个性化Agentic RL训练框架

🧭 个性化Agentic RL与偏好评分解耦训练 ★ 深度解读

University of Science and Technology of China · Alibaba Group

提出PARPO解耦通用质量与个性化偏好奖励并用用户锚点稳定训练，结合偏好解耦奖励模型与演化图记忆，实现闭环个性化智能体优化

📌 工作参考价值（4 点）

奖励解耦+用户锚点校准：在电商客服或推荐Agent中，可将通用任务质量（如回答准确性）与用户偏好（如风格、倾向）分解为两个优化通道，用用户历史平均偏好作为稳定基线，避免跨用户奖励尺度差异导致训练震荡。
偏好解耦降噪：用户行为常混杂从众与环境因素；采用双分支（兴趣/从众）建模，并利用流行度加权和正交约束分离真实兴趣信号，得到的偏好奖励更干净，可直接用于RL优化。
演化图记忆PSGM：构建包含用户、技能、工具、场景、轨迹的异构记忆图，通过层次社区发现和两步检索提供个性化上下文；电商Agent可借鉴此结构存储商家操作技能，实现跨场景技能复用与个性化检索。
训练闭环设计：将偏好识别、策略优化、技能累积形成闭环，训练过程中自动提炼可复用技能，适合构建需要持续进化的个性化Agent（如营销策略推荐、旅行规划等）。

Agent | 2026-05-22 | cs.CL | score 10/10

AgenticRL Personalization PreferenceDisentanglement GraphMemory RewardDecoupling eCommerce