单一冻结模拟器不够：多智能体强化学习中的模拟器坍缩
🧭 多智能体强化学习 · 用户模拟器坍缩 ★ 深度解读
Northeastern University · New York University · UC Berkeley · University of Washington · Stanford University
识别单冻结 LLM 用户模拟器导致的 simulator collapse，并提出 Verbalized Sampling 与 Co-Training 两种解法
📌 工作参考价值（4 点）
- 训练对话/Agent 策略时不要只信单一 frozen LLM 用户模拟器：如果训练 reward 持续上升、held-out 或真实用户指标先升后跌、策略 entropy 趋零，基本就是 simulator collapse。可以在电商客服、导购对话、多轮搜索 agent 训练中加一个 held-out simulator panel 或真实日志回放，监控这条曲线。
- 用 Verbalized Sampling 做低成本的 inference-time 增强：rollout 时让模拟器显式列出多个可能用户回复及概率，再采样，而不是 greedy 生成。这能覆盖接受、追问、拒绝、投诉等不同用户反应，避免策略学成固定脚本；不重训、不增加模型更新成本，适合快速在现有 user simulator 上打补丁。
- 把用户模拟器也 trainable，并做成 checkpoint pool：策略和模拟器同 rollout 联合更新，或从近期 simulator checkpoint 池中采样，让训练环境成为 moving target。工程上对应电商场景：用户行为模型随策略一起迭代，防止策略只学会讨好某一批“好说话”的模拟用户。
- 模拟器 reward 要保留 informative variation：二进制任务下让 simulator 训练目标接近 success rate ≈ 0.5，保持 batch 内 variance 最大；不要让模拟器只学成一个新的固定 mode。否则 Co-Training 也会重新坍缩。
影响引导的自我进化提升推理能力
🧭 自我进化训练 · 影响引导课程学习 ★ 深度解读
Yale University · Stanford University · University of Chicago · Toyota Technological Institute at Chicago · University of California, San Diego
提出INFUSER框架，用影响分数指导生成器与求解器协同进化，无需外部教师，大幅提升数学和通用推理性能。
📌 工作参考价值（4 点）
- 影响分数作为合成数据质量度量：使用开发集梯度与合成样本引起的模型更新方向的余弦相似度来评估单个样本的训练价值，可借鉴到推荐系统的样本筛选或Agent领域的数据蒸馏，替代简单的难度或困惑度指标。
- 生成器-求解器协同进化范式：将生成训练数据与模型训练建立成双层博弈，让生成器根据求解器当前能力实时调整输出，这类似推荐系统中召回与排序的联合优化或Agent多体协作的场景，可以通过更小的开发集引导数据生成远离分布外噪声。
- DuGRPO稳定连续奖励训练：针对影响分数这类连续且带噪声的奖励，提出组内+批内双重归一化，避免低方差组的噪声放大和高方差组的梯度主导。在推荐模型的强化学习微调（如GRPO）中，当奖励函数从离散点击变为连续业务指标时，可直接复用该归一化技巧。
- 文档池作为可持续课程来源：利用无结构化文档（如教材）作为生成器输入，无需昂贵的人工标注，结合影响引导就能自动形成难度适中的课程。电商场景中可用商品描述、用户评论等非结构化文本，生成多模态问题-答案对，持续提升对话Agent或推荐解释生成的质量。
策略与世界模型共训练：让语言智能体在 RL 中学会预测动作后果
🧭 语言智能体 · 世界模型与强化学习共训练 ★ 深度解读
Southern University of Science and Technology · Hong Kong University of Science and Technology · Hong Kong University of Science and Technology (Guangzhou) · Hong Kong Polytechnic University · LIGHTSPEED
将 on-policy RL 的 rollout 同时用作世界模型的下一观测监督，通过动作熵过滤、裁剪 MAE 损失和奖励自适应权重实现稳定共训练，无需额外模型或推理开销
📌 工作参考价值（4 点）
- 复用现有 rollout 作为世界模型监督：在电商对话 Agent 或推荐交互 Agent 中，用户与系统的多轮交互（如搜索-浏览-下单）天然包含状态转移样本，可将每步动作对应的下一页面内容作为预测目标，无需额外构造模拟器。
- 动作熵过滤冗余样本：只保留策略熵较高的决策点（如用户提问模糊、候选商品多）的转移样本进行世界建模，避免大量确定性动作（如翻页）造成的低效训练，可显著提升样本效率。
- 用裁剪 MAE 替代 CE 应对噪声观测：在电商页面等富含随机 ID、产品名的文本环境中，MAE 损失能抑制不可预测 token 的梯度，配合置信度裁剪（pt,i >ρ 的 token 不训练）可防止过拟合表面形式，使世界模型抓住核心动态。
- 奖励自适应权重平衡多任务：根据 rollout 组成败调整世界模型 loss 权重，低成功率组强化环境理解，高成功率组侧重策略优化，这种简单启发式可直接用于客服 Agent、推荐对话 Agent 的多目标 RL 训练。