AI Papers Daily

#pessimism

2 篇

Generalization in offline RL: The structure is more important than the amount of pessimism

离线强化学习泛化：悲观结构比悲观程度更重要

🧭 离线RL泛化 · 悲观结构对称性

Delft University of Technology

在上下文MDP中，悲观结构的对称性而非悲观程度，决定了离线RL最优泛化；建议用策略提取一致性增强。

📌 工作参考价值（4 点）

• 设计离线策略学习时，优先考虑数据覆盖的结构对称性，而不是盲目调节保守系数。
• 数据增强不应仅用于扩充训练集，更应通过策略提取阶段的一致性损失注入对称归纳偏好，尤其适用于已知旋转、平移等对称性的推荐/Agent环境。
• 若业务场景存在对称性（如用户偏好对商品类别旋转不变），可显式约束价值函数对称，以提升泛化。
• 离线训练Agent时，避免在增强数据上直接做价值迭代，改用先离线训练再策略提取时加入一致性正则，能更稳定地利用增强。

Agent | 2026-07-02 | cs.LG | score 6/10

offline RLgeneralizationpessimismsymmetrydata augmentationconsistency loss

When Does Trajectory-Level Supervision Permit Efficient Offline Reinforcement Learning?

轨迹级监督下高效离线 RL 的统计条件

🧭 离线强化学习 · 轨迹级反馈理论

University of Wisconsin-Madison

提出 OPAC 算法，证明仅用轨迹级标量标签可实现样本高效离线策略优化，并刻画泛化结果监督的可处理条件

📌 工作参考价值（4 点）

• 在序列推荐或对话 Agent 中，若只有会话结束时的整体转化/点击等标量标签，可借鉴 OPAC 的悲观演员-评论家框架：先学习潜在步奖励模型，再用悲观值函数优化策略，避免盲目分配奖励导致的分布偏移恶化。
• 论文定义的泛化结果监督场景（如偏好、全成功目标）与推荐系统从会话级指标（如转化率、净推荐值）逆向学习策略高度对应，可通过结构系数 κ_μ(σ) 和 χ_μ(σ) 评估任务的信息损失，指导选择可处理的奖励聚合形式。
• 离线策略优化的悲观原则（Pessimism）在业务中已有应用，本文的理论保证（O(H^2√(C_sa/n))）为使用轨迹级反馈替代过程奖励提供了样本复杂度的量化依据，可在实验设计时预估所需数据量。
• 当结果标签与优化目标不一致时（如用点击率作为代理目标学习收益最大的策略），警惕指数级样本需求（Ω(2^H)）的陷阱，需通过线性近似或引入过程信号避免不可学习问题。

Other | 2026-06-15 | HF Daily | score 6/10

offline RLtrajectory-level supervisionpessimismsample complexityreward learningpreference feedback