AI Papers Daily

#Off-policy

2 篇

Continual Learning in Transition

持续学习的范式转变：从参数中心到系统级适应

🧭 持续学习 · 系统级适应框架

Institute of Automation, Chinese Academy of Sciences · National University of Singapore · Tsinghua University · Shanghai Jiao Tong University · Alibaba Group

提出三轴框架（何时、如何、何处）刻画持续学习从参数更新到系统级适应的演进

📌 工作参考价值（4 点）

• 系统级在线更新：推荐模型可将部分能力外置到记忆库或技能库中，新知识通过写入外部存储而非修改模型参数来实现，避免灾难性遗忘，适合高频变化的电商场景（如新品冷启、大促策略调整）。
• 推理时自适应：借鉴 test-time training 思想，在推荐服务推理阶段根据当前上下文（如用户实时行为）快速调整模型子集或 prompt，无需完整重训，降低延迟并提升实时性。
• 多策略混合更新：结合 off-policy（历史数据回放）与 on-policy（在线交互）更新，利用 LLM 驱动的 Agent 生成合成交互数据，平衡稳定性和探索，适合搜索广告的竞价策略持续优化。
• Agent 交互协议：将推荐系统组件（召回、排序、出价）作为 Agent，通过标准化协议交换记忆和技能，实现不同模块的独立持续进化，提升整体系统的长期适应能力。

Training | 2026-08-05 | HF Daily | score 7/10

Continual LearningSystem-level AdaptationSurveyOff-policyInference-time TrainingMemory-augmented

Predictive Divergence Masks for LLM RL

预测散度掩码：LLM 强化学习的信任域方向优化

🧭 LLM 强化学习 · 信任域方向准则

Tencent Hunyuan · UIUC · NUS

提出预测散度掩码替代 PPO 比率方向测试，用散度变化预测决定是否屏蔽 token

📌 工作参考价值（4 点）

• 在推荐/Agent 的 RL 策略训练中，PPO 原有的 ratio 方向屏蔽可能导致错误保留会使散度增大的更新，改用散度方向预测可提升离线更新的稳定性与效率。
• 当策略输出为 top-K 候选时（如推荐列表生成、对话动作筛选），论文的两种轻量级 top-K 估计器可直接嵌入，无需完整分布即可计算散度变化方向。
• 预测散度掩码的闭式解计算开销低，适合大规模线上 RL 训练时的 token 级动态屏蔽，降低训练-推理分布漂移风险。
• 该方法对模型规模与精度设置鲁棒，可以无缝集成到现有 PPO/DPPO 训练框架中，改善 reward hacking 并提升最终策略质量。

Training | 2026-07-11 | HF Daily | score 7/10

LLM RLPPOPredictive Divergence MaskTrust RegionTop-K EstimationOff-policy