PACT：从信用分配到 Critic 对齐
🧭 LLM 强化学习的信用分配与 Actor-Critic 训练 ★ 深度解读
Peking University · Xiaohongshu
证明 token 级信用唯一等于条件奖励差分，提出 Actor-then-Critic 加重要性采样的 PACT，在数学与编码基准显著超越 PPO/GRPO/SAO
📌 工作参考价值（4 点）
- RL 微调推荐/搜索 Agent 时，用 Actor-then-Critic 顺序并对 critic 目标做 importance sampling 校正：先更新 actor，再用更新后 actor 与旧 rollout 的重要性比修正 critic 的 value target，避免 PPO 中 critic 始终落后一个 policy 版本的问题；适合点击/转化/任务成功等 0-1 或归一化 reward。
- Value/critic 训练用 BCE 替代 MSE：在 reward ∈ [0,1] 条件下两者最优解相同，但 BCE 收敛更快、正负样本 value separation 更大；对稀疏奖励、长轨迹的搜索/推荐 Agent 训练尤其实用，可直接替换现有 critic loss。
- 长 horizon outcome-only reward 场景优先使用 GAE λ=1：论文证明 λ<1 会保留中间 critic 误差，且 token credit 近似稀疏时误差可能主导信号；业务中如果只有最终转化/成交 reward，建议 λ=1 或直接使用 RLOO/GRPO 的 response-level baseline，避免细粒度 critic 噪声。
- 响应级 baseline 与 token 级 credit 在期望梯度上等价：RLOO/GRPO 不必强行改造成 token-level advantage；如无高精度 critic，保持 response-level 信号在期望上是安全的，但若要利用长程结构化信息，应优先提升 critic 对齐度和估计准确性。
AC-ODM：基于Actor-Critic的LLM预训练在线数据混合
🧭 RL指导预训练数据混合 · Actor-Critic
BRAIN, Renmin University of China · Shanghai Jiaotong University · Shanghai Artificial Intelligence Laboratory · China Electronics Technology Group Corporation 15th Research Institute · LiblibAI
提出轻量Actor-Critic在线调控领域采样权重，最大化梯度建设性干涉，大幅加速预训练并提升下游表现
📌 工作参考价值（4 点）
- 动态数据采样策略可迁移至推荐模型训练：在多任务/多领域推荐场景中，常需平衡样本配比，AC-ODM的在线Actor-Critic框架可以低开销地学习每步采样权重，替换静态或启发式配比，提升训练效率。
- Proxy模式节省大规模训练成本：先在小规模模型上训练数据混合策略，再外推到大模型，适用于电商搜索推荐中从蒸馏模型到全量模型的迭代过程，避免直接在大模型上试错。
- 极低工程开销：每步仅增加0.4%计算和2%显存，几乎不影响吞吐，可直接嵌入现有分布式训练管线，适合对训练延迟敏感的业务。
- 最大化梯度建设性干涉的思想可泛化：该文理论证明策略等价于线性代理优化梯度干扰，这一思想可借鉴到多任务推荐中的损失加权或正负样本均衡，减少有害梯度冲突。
ArogyaSutra：面向印度语的多模态医学推理多智能体框架
🧭 多智能体医学推理 · 多模态多语言
Indian Institute of Technology Patna · Indian Institute of Technology Kanpur · Prasannadeb Women's College
构建多语言多模态医学数据集并提出 actor-critic 多智能体框架，融合工具与双记忆机制提升推理精度。
📌 工作参考价值（4 点）
- Actor-critic 多智能体协作范式可迁移至电商客服或导购 Agent：Actor 生成动作（如查询商品、调用 API），Critic 评估合理性并存入双记忆（成功/失败轨迹），在线蒸馏后可压缩为小型决策模型，适合高并发场景。
- 双记忆机制（成功经验池 + 失败经验池）可用于推荐 Agent 的反思与纠错：在商品推荐、参数解析错误时，失败记忆提供负样本，配合 critic 评分驱动策略改进，比单纯正样本微调更稳健。
- 工具接地（tool grounding）思路可借鉴到电商搜索 Agent：将商品数据库、优惠规则、物流 API 等封装为工具，多智能体通过调用工具而非依赖模型记忆事实，减少幻觉，尤其适合频繁更新的促销活动。
- 多语言低资源场景的蒸馏策略：用教师多智能体在丰富数据上模拟推理轨迹，再蒸馏到学生模型，可快速覆盖小语种或方言搜索场景，降低标注成本。