AI Papers Daily

#symmetry

2 篇

Generalization in offline RL: The structure is more important than the amount of pessimism

离线强化学习泛化：悲观结构比悲观程度更重要

🧭 离线RL泛化 · 悲观结构对称性

Delft University of Technology

在上下文MDP中，悲观结构的对称性而非悲观程度，决定了离线RL最优泛化；建议用策略提取一致性增强。

📌 工作参考价值（4 点）

• 设计离线策略学习时，优先考虑数据覆盖的结构对称性，而不是盲目调节保守系数。
• 数据增强不应仅用于扩充训练集，更应通过策略提取阶段的一致性损失注入对称归纳偏好，尤其适用于已知旋转、平移等对称性的推荐/Agent环境。
• 若业务场景存在对称性（如用户偏好对商品类别旋转不变），可显式约束价值函数对称，以提升泛化。
• 离线训练Agent时，避免在增强数据上直接做价值迭代，改用先离线训练再策略提取时加入一致性正则，能更稳定地利用增强。

Agent | 2026-07-02 | cs.LG | score 6/10

offline RLgeneralizationpessimismsymmetrydata augmentationconsistency loss

Symmetry-Compatible Principle for Optimizer Design: Embeddings, LM Heads, SwiGLU MLPs, and MoE Routers

对称性兼容原则指导优化器设计：嵌入、LM头、SwiGLU MLP和MoE路由

🧭 优化器设计 · 等变更新 · 预训练

提出基于参数块对称群的等变优化器设计原则，为不同层定制更新规则，在LLM预训中超越AdamW

📌 工作参考价值（4 点）

• 嵌入层与投影层优化：推荐模型的实体/用户嵌入矩阵和最终的投影层可尝试行归一化（row-norm）或单边谱更新，利用左置换等变性，可能提升大规模嵌入训练稳定性。
• SwiGLU MLP 的定制更新：若模型采用 SwiGLU 激活，其权重块的中间神经元置换对称性可指导设计 row-aware 或 column-aware 更新，提升梯度信号对齐，加速收敛。
• MoE 路由器优化：在多领域或多专家推荐中，MoE 路由矩阵可利用专家置换和偏移不变性，采用中心化行归一化或左谱更新，可能改善负载均衡和路由精度。
• 系统化分块优化器设计：整体思想可迁移——先分析模型各参数块的对称群，再选配等变更新规则，而非统一使用 Adam，尤其适用于推荐系统中多种异质参数（Embedding、Attention、MoE 等）的混合架构。

Training | 2026-05-17 | HF Daily | score 7/10

optimizersymmetryequivarianceSwiGLUMoELLM pretraining