From Correctness to Preference: A Framework for Personalized Agentic Reinforcement Learning
从正确到偏好：个性化Agentic RL训练框架
🧭 个性化Agentic RL与偏好评分解耦训练 ★ 深度解读
University of Science and Technology of China · Alibaba Group
提出PARPO解耦通用质量与个性化偏好奖励并用用户锚点稳定训练，结合偏好解耦奖励模型与演化图记忆，实现闭环个性化智能体优化
📌 工作参考价值（4 点）
- 奖励解耦+用户锚点校准：在电商客服或推荐Agent中，可将通用任务质量（如回答准确性）与用户偏好（如风格、倾向）分解为两个优化通道，用用户历史平均偏好作为稳定基线，避免跨用户奖励尺度差异导致训练震荡。
- 偏好解耦降噪：用户行为常混杂从众与环境因素；采用双分支（兴趣/从众）建模，并利用流行度加权和正交约束分离真实兴趣信号，得到的偏好奖励更干净，可直接用于RL优化。
- 演化图记忆PSGM：构建包含用户、技能、工具、场景、轨迹的异构记忆图，通过层次社区发现和两步检索提供个性化上下文；电商Agent可借鉴此结构存储商家操作技能，实现跨场景技能复用与个性化检索。
- 训练闭环设计：将偏好识别、策略优化、技能累积形成闭环，训练过程中自动提炼可复用技能，适合构建需要持续进化的个性化Agent（如营销策略推荐、旅行规划等）。