语言与非语言智能体的隐状态协作研究
🧭 LLM 与非语言 Agent 的隐状态协作 ★ 深度解读
Adobe Media and Data Science Research · IIIT-Delhi · IIT Kanpur · SUNY at Buffalo
提出隐状态内部化，将非语言 agent 的连续表示投影为 latent tokens 注入 LLM，显著优于文本化协作
📌 工作参考价值（4 点）
- 用 latent tokens 替代文本描述传递模型信号：在对话推荐或生成式推荐中，若 LLM 需要融合精排模型/用户模型的连续表示（如 embedding、CTR 分布），训练一个轻量投影器（类似 LatentBridge）将这些表示作为 continuous tokens 注入 LLM，可避免将 embedding 离散化或文本摘要造成的信息损失。两阶段训练（先冻结 LLM 训练投影器，再联合 RL/SFT）能稳定收敛。
- 让 LLM 自主决定何时查询子模型：内部化后 LLM 学会任务特定的查询策略（如反事实查询、多步前瞻），且平均调用次数降低，可控制推理成本。在对话式搜索或策略规划中，允许 LLM 按需调用子模型（如检索器、精排器）并注入隐状态，能提升多步推理能力。
- 识别“不可文本化”信号：类似 Puzzle Interest 的任务，如果业务中存在无法用文本代理表示的信号（例如商品有趣度、用户偏好不确定性），latent injection 比 verbalization 有显著优势。可以设计类似评测来量化文本化损失。
- 工程细节可迁移：投影器为三层 MLP，输出维度与 LLM hidden size 匹配；使用特殊 token 锚点 + 连续 embedding 覆盖的方式注入；RL 采用 DAPO 可稳定联合训练，推理成本可控。
GRPO、Dr. GRPO 与 DAPO 统一为组标准差操作
🧭 GRPO/Dr.GRPO/DAPO 统一于组标准差操作 ★ 深度解读
University of Illinois at Urbana-Champaign
三种 RLVR 训练技巧本质上是对同一量（组奖励标准差）的乘、除、过滤操作，且更新量正好等于该标准差
📌 工作参考价值（4 点）
- 在推荐系统的 RLVR 训练中，若奖励为二元（如点击/未点击），优势归一化（除以组标准差）会改变隐式优化目标：除以标准差趋向 arcsine 变换，抬高极端难度样本的权重；去掉则回到原始成功率目标。可根据业务目标选择是否保留该操作。
- 无声组（组内奖励全 0 或全 1）产生零梯度，可借鉴 DAPO 的动态采样：在组 batch 中丢弃 σ=0 的组，避免浪费计算。在广告/搜索的曝光日志中，可预先识别全正或全负的 batch 并跳过更新。
- 组大小法则 G ≳ 1/(8ε p(1-p)) 给出给定难度 p 下达到目标梯度保真度所需的样本数。在物品或广告推荐中，不同物品（如冷门物品）的点击率 p 差异大，可据此动态分配每个 prompt 的采样预算，代替固定 G。
- 可以直接用组标准差作为每步训练的诊断指标：实时监测 σ 的分布和无声组比例，识别模型在哪些难度区间无有效对比信号，从而调整采样策略或奖励设计。
DelTA：通过判别性Token信用分配提升可验证奖励的强化学习
🧭 强化学习训练优化 · Token级信用分配 ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · Ant International
将RLVR更新视为隐式线性判别器，通过重加权token梯度向量增强正负侧质心的区分度，提升数学推理等任务表现。
📌 工作参考价值（4 点）
- 将策略梯度更新解构为隐式判别器的方法可用于诊断线上RL模型训练中的token偏向问题，尤其适合电商推荐中奖励信号稀疏的长序列生成（如自动文案、对话）场景。
- 通过对比正负优势响应的token梯度质心并重加权token贡献，可以兼容大部分序列级RL目标（如GRPO、DAPO），工程实现可插入现有RLHF训练流程。
- 系数计算采用最后一层隐藏状态或输出行梯度代理，无需全参梯度，开销可控，适合大规模LLM训练的在线重加权。
- 在电商Agent的推理规划中，可借鉴基于判别性信号重新分配token信用，提升模型在长推理链上的一致性和正确率。