如何稳定且高效地训练 Critic
🧭 LLM RL 的 Critic 稳定训练 ★ 深度解读
National University of Singapore · Tencent Hunyuan
BPCO 通过值域约束、MC 目标、去标准化等配方稳定单 rollout critic，性能匹配或超过 group 基线
📌 工作参考价值（4 点）
- 若在电商/广告场景用 RL 微调 LLM 生成推荐文案、搜索 query 或导购对话策略，可改用单 rollout critic 替代 GRPO 多采样，节省采样成本；并采用 BPCO 的 bounded value head（arctan 映射到 reward 范围）和 MC value target（λ_V=1），这是稳定性最核心的两项改动。
- 当 reward 由规则、评分 rubric 或成交标签产生时，让训练期 critic 额外接收这些 reward-defining 信息（如真实成交额、评分细则），policy 仅使用用户上下文和生成前缀。这样线上推理不增加任何输入，但 critic 拟合更快；小数据量时需注意过拟合。
- 直接移除 advantage batch normalization，使用 raw GAE advantage 更新 policy；实现成本极低，能避免策略收敛后更新不衰减、噪声被放大导致过拟合。
- 若生成序列长度差异大（比如长推荐理由 vs 短 query 改写），将 policy 端 GAE 改为 length-adaptive λπ(L)=1-1/(αL)，α 取 0.4 左右；critic 端保持 λ_V=1 做无偏回归，可稳定长序列上的 credit assignment。
Rubrics 作为视觉修复上下文的自演化 UI-to-Code 生成
🧭 VLM 自演化 · 视觉修复上下文
University of Maryland, College Park · Microsoft
提出 RubSE，用结构化 rubric 引导视觉修复，解决 UI-to-code 自演化中局部修复相互耦合导致轨迹不稳定的问题
📌 工作参考价值（4 点）
- 在迭代优化 Agent（如落地页、商品详情页、广告创意自动生成）中，引入结构化“修复指令/评分标准”作为上下文，而不是反复给模型完整截图让其自由修改，能明显约束修改范围，避免模型过度重写导致原本正确区域被破坏。
- “每轮只选一个最高优先级修复目标”并维护已选目标历史，这种机制可以迁移到多轮自优化流程（如搜索推荐文案、UI 布局、推送消息的自动迭代），提升轨迹稳定性，减少回归。
- 强 rubric 生成器 + 弱代码执行器的组合：业务上若代码生成模型能力有限，可以用更强的模型生成视觉修复 rubric，再交给轻量模型执行修改，推理成本更低且效果可迁移，类似推理时蒸馏。
- 将视觉差异表示为 typed rubrics（layout_geometry、style、component 等），把修复问题分解为可执行子目标，对多模态 Agent 设计有直接参考价值，可用于电商多模态内容生成的闭环优化。
上下文分配定律：生成式搜索中的因果测量与闭环编排
🧭 生成式搜索 · 推理时上下文编排 ★ 深度解读
Peking University · National Engineering Research Center for Software Engineering, Peking University · Tencent
用因果探针揭示标准相关性代理在困难负样本上失效，并证明窄上下文多轮生成比宽上下文单轮带来16.8-20.5个百分点的组合召回增益
📌 工作参考价值（4 点）
- 借鉴因果归因探针：在电商搜索/RAG 场景中，用 leave-one-out 对数似然下降度量生成结果对每个上下文文档的真实依赖，避免 query-doc 相似度等代理指标在同查询稠密负样本上的失效。工程上可对已生成响应做并行 teacher-forced 前向，绕过解码瓶颈，适合在线监控证据利用率。
- 推理预算分配策略：若有多轮生成场景（如生成多个搜索摘要或推荐理由），优先把相同证据槽位拆成多个窄上下文轮次，而不是一次性塞入宽上下文。实验显示相同 24 个文档预算下，k=2,T=12 比 k=24,T=1 的 portfolio recall 高 0.144（0.397 vs 0.253），且提升在 7B-32B 模型上稳定。
- 反馈驱动的子模调度：在每轮生成后用归因信号标记已消费的知识簇，下一轮通过贪心子模最大化选择未被充分利用的文档；比盲目轮换文档的 ECR 提升显著（0.626 vs 0.375）。该模式可直接用于多轮对话推荐或多样性商品集合生成，避免内容冗余。
- 对比解码增强新鲜证据整合：在生成阶段用公式 ℓ' = ℓ(·|q,C) + α[ℓ(·|q,C\O) - ℓ(·|q,O)] 减去过度使用证据的概率质量，推动模型利用新文档，同时加 plausibility 约束防止幻觉。此 trick 可用于电商推荐理由生成中强制覆盖不同卖点。
生成式推荐中的物品分词再思考：从固定原子到语义子词
🧭 生成式推荐 · Semantic ID ★ 深度解读
University of Science and Technology of China · Huawei Technologies
提出 SST：历史侧用变长语义子词压缩 SID、目标侧保留定长解码，缓解 intra-item 注意力过载并稳定提升生成式推荐
📌 工作参考价值（4 点）
- 在 SID-based 生成式推荐中，历史侧和目标侧使用不对称 tokenization：用户历史序列用子词合并压缩，降低 encoder 的 intra-item attention 负担；候选 item 仍用固定长度 SID 生成，不破坏 beam search 解码语法。可直接作为现有 RQ-KMeans/TIGER 类线上模型的输入层改造。
- 子词合并规则可以优先尝试 CondEntropy：同时考虑 frequency、互预测性和上下文纯度，比 BPE/WordPiece 更适合推荐场景的语义耦合，尤其在稀疏或噪声较大的业务数据上更稳。
- BCA 用行为序列中语义前缀对（如取 SID 前 2 个 token）滑窗统计高频共现，把原始交互子序列作为增强样本注入训练，开销低、无需额外标注，能改善长尾 item 的曝光和 NDCG。
- 上线前可做 token-level attention workload 分析：统计 encoder 中 same-item attention 占比和 atom reassembly load，验证压缩是否真正释放了模型容量；同时注意不要将目标侧改成变长子词，否则低频语义 token 在 beam search 中会被边缘化，性能可能大幅下降。
十亿级容量用户表征学习的行为稠密化定律
🧭 用户表征学习 · 行为 tokenization 与 scaling law ★ 深度解读
Ant Group · Zhejiang University
提出用户行为 Densing Law，量化最小充分 tokenization 容量随数据规模幂律增长，并用 RQ-VAE 与自适应分配突破 raw scaling wall
📌 工作参考价值（4 点）
- 亿级用户行为序列不要盲目加 raw 数据/模型参数；先诊断是否已饱和（通常几千万用户、60-90 天、0.2B 左右），优先上 RQ-VAE 行为 tokenization。
- tokenizer 配置用 Densing Law 预估：ln C* = β + α ln s，只需少量最小充分容量实验即可外推；容量用 C_tok = H M log K + η H M d 统一核算。
- 选 tokenizer 时注意表示空间冗余：SARQ/RQ-VAE 的 α 低于 VQ-VAE，同样数据量需要更小容量；业务上可把 α 作为 tokenizer 效率指标。
- 对高 routine 行为做自适应 token 深度分配（ALGN/entropy-based）：高信息段多分 codebook 层，常规段少分，提升 capacity efficiency；冻结 tokenizer 后与 raw baseline 同 encoder 对齐，方便归因。
双粒度智能体记忆与 Shapley 上下文归因的多模态学习框架
🧭 多模态 Agent 记忆与检索优化 ★ 深度解读
UC Merced · Shanghai Jiao Tong University
冻结多模态大模型配外部双粒度记忆，用 Shapley 归因优化规则检索，提升科学推理基准
📌 工作参考价值（4 点）
- 检索增强场景中，把“相似度检索”升级为“相似度 + 历史效用”的组合排序：用 Shapley/边际贡献离线计算每个知识条目（规则、策略、案例）的效用，避免上下文里塞进相似但无效甚至误导的条目；推荐系统里可类比给召回 item 或策略规则打分。
- 双粒度记忆架构值得直接迁移：实例级 case 与类别级规则/策略分开存储，中间层只从抽象规则生成类别记忆，避免具体样本细节污染类别级归纳；电商/Agent 中可将用户行为轨迹与商品属性规则、query 意图分存。
- 概念类别空间无需预定义 taxonomy，用 LLM 在线增量生成类别并序列化更新，动态贴合语料分布；适合电商 query 意图聚类、商品概念动态归类，避免固定分类过粗或过细。
- 工程上无需梯度更新，只依赖 gold answer 作为监督，可在闭源/端侧模型上快速构建外部记忆；训练时用 temperature 采样 rollouts 构建记忆，测试时只读，适合低成本复用现有大模型能力。
StepGuard：可扩展监督与安全-效用平衡的步骤级护栏
🧭 Agent安全护栏 · step-level监督与效用平衡 ★ 深度解读
Shanghai Artificial Intelligence Laboratory · Beihang University · Fudan University · Renmin University of China · KAUST
4B步骤级agent安全护栏，通过prefix-aligned合成数据与Balance-GRPO在低误杀下将平均ASR降低77.3%
📌 工作参考价值（4 点）
- 对电商/广告Agent的高风险工具调用（改价、退款、批量发消息、导出数据）增加执行前step-level guard，4B模型即可取得接近GPT-5.4的判别能力，单次检查约600ms/195 tokens，适合在线部署。
- 用prefix-aligned合成数据构造“同一前缀、不同安全动作分支”的对比样本，并加入benign tool-reuse轨迹，能明显降低guard对工具身份的误判，防止把易感工具一律当成风险。
- 训练时用Balance-GRPO：根据rollout batch中safe/unsafe两类accuracy差距动态reweight advantage，可把safe-unsafe gap从13.0压缩到8.0，在AgentDojo/AgentDyn上utility提升最多6.7点而ASR仅升0.3；这比固定class weight更稳。
- 如果业务中有安全与转化/体验的trade-off，可以借鉴按类别感知的on-policy校准策略，不必改prompt或reward，只需对优势做加权；另外保留step-level标注和风险定位输出，便于审计与策略调优。
WARP：面向群体意见的 Wasserstein 对齐 RAG
🧭 RAG 检索校准 · Wasserstein 对齐意见分布
Amazon.com
用 Wasserstein 距离校准 RAG 检索证据的情感分布，避免少数意见被淹没
📌 工作参考价值（4 点）
- 在电商评论摘要、用户反馈聚合等场景，top-k 检索容易偏向主流意见，可借鉴 WARP 思想：先估计总体意见分布（如情感强度分布），再用 Wasserstein 距离选择文档子集，使检索证据的分布与总体对齐，避免生成有偏的回答。
- 工程实现上，WARP 提供三种变体适应不同候选池规模（稠密/稀疏/可变），亚秒级延迟，可在线作为 RAG 检索后处理模块，与现有向量检索无缝集成。
- 将 Wasserstein 距离作为检索校准的优化目标，比 KL/JS 更合理，因为它保留了情感强度之间的序数关系——强烈负面与强烈正面混淆的代价高于相邻强度混淆。在涉及情感、评分等有序标签的场景中可优先考虑。
- LLM 生成阶段对检索证据分布敏感，WARP 实验表明校准检索能显著提升生成质量（86% 偏好），因此构建“群体意见总结”类 Agent 时，应将检索校准作为生成前必要步骤。
WarpSAC：面向可扩展离线强化学习的数据范式自适应算法
🧭 离线强化学习规模化训练方法
Tianjin University · Shanxi University · Imperial College London
提出数据范式感知的离线强化学习算法 WarpSAC，根据数据丰富度动态调整稳定器配置，大幅提升大规模并行训练性能
📌 工作参考价值（4 点）
- 数据范式感知的稳定器配置：在在线学习/强化学习推荐中，当数据吞吐量大幅提升（如实时日志流、大规模并行仿真），可关闭参数归一化并简化 critic 为 single-Q，减少计算瓶颈并提升价值拟合能力；在数据稀疏或覆盖度低时保留归一化与 clipped double-Q。
- Sample Weight Decay 可借鉴为按样本年龄做衰减加权，赋予新样本更高权重，有助于模型快速适应分布漂移，适用于推荐系统、Agent 决策策略的在线更新。
- 大规模并行训练中，传统稳定器（如归一化、double-Q）可能由优势变为制约，应根据数据覆盖度做消融实验而非沿用默认配置，这与大规模分布式训练中参数同步策略的选择有相似逻辑。
- 对于 Agent 仿真到真实（sim-to-real）部署，参考 regime-aware 配置思路，根据仿真数据规模选择不同训练设置，可显著缩短 wall-time 迭代周期。
现代RAG管道评估：文本、多模态、稠密与晚交互
🧭 RAG 管道选型与多模态权衡
Özyeğin University, Istanbul, Türkiye
提出数据驱动的RAG管道选择方法，在检索效果与资源约束间权衡
📌 工作参考价值（4 点）
- 电商详情页、广告落地页含大量布局、表格、图片，纯 OCR 文本管道会丢失结构语义；可在 RAG 检索阶段引入 VLM 多模态编码，但需按类目或高价值 query 试点，用延迟与召回指标对比。
- late interaction（如 ColBERT）是稠密检索与多模态之间的实用折中：保留 token 级交互提升细粒度匹配，同时避免每次查询调用 VLM 的高开销，适合低延迟搜索推荐场景。
- 建立管道选型决策表：依据文档类型（文本为主 vs 富媒体）、query 类型、资源预算，用离线 nDCG/recall@k 与在线 p50/p99 延迟、GPU 成本联合选择，避免一刀切。
- 对表格规格、价格/评分等结构化信息，优先用 layout-aware 文本解析或混合表示，减少 VLM 调用次数；可先文本召回再用视觉重排，在成本可控下提升准确率。
小心沙发！弱到强任务向量注入激发多模态大模型室内设计推理
🧭 多模态大模型推理增强 · 任务向量注入
Nanjing Forestry University · Institute of Software Chinese Academy of Sciences · University of the Chinese Academy of Sciences · Beijing University of Technology
提出 DART-I，用弱专家提取空间/颜色先验生成任务向量，残差注入冻结 MLLM 以改善室内设计推理
📌 工作参考价值（4 点）
- 可将业务中的确定性规则（价格带、商品属性兼容性、布局安全距离等）封装为轻量 weak expert，输出连续数值特征，再投影为 task vector 注入冻结 LLM/MLLM 的 latent space，实现零微调的领域约束注入，避免灾难性遗忘和高昂训练成本。
- 在电商多模态场景（商品图 + 描述）中，可借鉴 DART-I 的残差注入方式：先用弱模型提取商品间空间关系、颜色搭配等先验，引导 MLLM 生成更合理的搭配或布局建议，减少幻觉，优于仅靠 prompt 中的文字约束。
- 弱到强范式适合标注稀缺的业务：用弱模型/人工规则先产生结构化信号，再驱动强模型，可复用到推荐系统，例如将用户行为序列的统计先验（点击间隔、序列长度分布）注入生成式推荐模型，提升生成质量。
- 任务向量注入作为一种参数高效适配手段，比 LoRA 等微调方法更轻量，适合快速在多业务线之间切换和迭代。
用于观看时长分布预测的层级指数-高斯混合模型
🧭 观看时长分布预测 · 混合密度网络 ★ 深度解读
AI VK · Lomonosov MSU
修复EGMN方差坍塌与组件冗余，通过层级skip-watch分解和KL方差正则提升排序与完播预测，工业A/B显著提升session depth
📌 工作参考价值（4 点）
- 若业务目标是停留时长、完播率等多阈值事件，可考虑将点回归头替换为单一分布头（如指数-高斯混合），同一密度可同时输出期望WT、P(Y>τ)、P(Y>ρd)等信号，避免为每个阈值单独训练模型；但模型选择应使用排序指标（如XAUC）而非NLL，因为方差坍塌会让NLL不可靠。
- 混合分布头极易发生方差坍塌和组件冗余，结构化初始化是关键：Gaussian means 均匀分布在归一化支撑上（如 k/(K+1)），σ 初始化为 1.5/K，指数成分 λ 初始化为短时长先验（1/0.05）。消融显示去掉该初始化，工业 XAUC 从 0.7188 暴跌至 0.6841。
- 层级 skip–watch 分解（sigmoid gate 分开快速跳过与真正观看）比 flat softmax 更可解释且排序更好；移除 EGMN 的 forced Gaussian shift 和 entropy regularization 通常能提升稳定性。
- 对于过参数化混合（如 K≥8），可加 mean-agnostic 的 KL 方差正则：按视频时长分桶估计参考方差，只约束每个 Gaussian 的方差，既防止 collapse 又能改善尾部阈值预测；在 K=3 时不必加该正则，以免轻微牺牲排序。生产部署延迟增加约1.2ms，通常在30ms约束内可接受。
元harness优化多智能体实现轻量时序预测器小样本训练
🧭 多智能体元优化 · 时间序列预测
University of Houston · NEC Labs · University of Waterloo · University of Connecticut · University of Illinois at Urbana-Champaign
用多智能体生成数据+元优化harness，从少量样本训练轻量时间序列预测器
📌 工作参考价值（4 点）
- 数据稀缺或隐私敏感场景（如新商品冷启动、低频事件预测），可借鉴多智能体数据生成：用 LLM agent 从少量真实样本+文本上下文合成训练数据，再训练轻量模型，避免直接依赖大模型在线推理。
- 将 LLM 定位为“离线工程师”而非在线预测器：在电商推荐中，可让 LLM 离线生成商品描述增强、用户兴趣特征或合成样本，训练轻量排序/CTR模型，保证线上低延迟和低成本。
- 多智能体分工（数据生成、过滤、评估）提升合成数据质量，该模式可迁移到推荐系统的数据增强 pipeline，通过多个 agent 协作筛选高质量样本。
- meta-harness 优化思想：把数据生成流程（prompt/工具调用）视为可学习对象，用元学习在多个任务上优化，使生成数据能最大程度提升下游模型效果，可类比推荐中的自动特征工程或数据增强策略搜索。
Agent-G^2：面向 Agentic RL 的高斯引导框架
🧭 Agent 强化学习训练 · 引导深度采样
Zhejiang University · Baidu Inc. · Shandong University
用在线估计的高斯分布动态采样每个任务的专家轨迹引导深度，替代固定或逐样本探测，显著降低 rollout 成本并提升 Agent RL 效果
📌 工作参考价值（3 点）
- 在电商/搜索用 LLM Agent 做多步交互（如智能导购、商品筛选、客服对话）时，可保留专家轨迹前缀作为 warm start，但不必固定深度；借鉴高斯引导在线估计每个任务/query 的引导深度，平衡探索与专家先验，缓解稀疏奖励。
- 按任务难度聚类动态调整引导强度：将用户 query 或 session 按难度分簇，分别估计均值方差，避免“一刀切”的固定提示长度，适配长尾/复杂场景。
- 无需额外 probe rollouts，直接从策略优化已产生的 rollouts 估计分布，节省采样成本，适合在线 RL 预算有限的业务，尤其在大规模推荐/搜索 agent 调优时。
Apodex 1.1：用环境扩展与多智体协调扩展复杂工作能力
🧭 多智体协作与长程任务执行 ★ 深度解读
以可验证交付为单位，通过环境扩展和可交互自组织 Agent Team 在小模型上逼近前沿长程任务能力
📌 工作参考价值（4 点）
- 把长程推荐/广告分析 Agent 的内部计划外化成 Task Board：子任务、依赖、状态、结果引用都放在模型上下文之外，作为可被工具读写的共享协调状态；在 context compaction 或超长会话中仍能恢复计划，避免依赖 message history。
- 借鉴 verification asymmetry：对生成的商品卖点、活动复盘结论、搜索推荐归因等，只构造核对具体 claim、数字、出处和格式约束的验证器，要求反例或独立来源，而不是让验证者重写整份报告；反馈带 claim 级定位，便于定向返工。
- 借鉴 /inputs、/workspace、/outputs 命名空间与 provenance graph：把原始数据、中间实验、最终交付严格分离，发布必须走 controlled delivery；避免把未验证的中间结果作为推荐策略、广告配置或活动方案上线。
- 为推荐/Query 改写/运营 Agent 做可执行 sandbox 和 verifier：用“正向构造便宜、逆向求解昂贵”的方式扩展文件、搜索、代码类可验证任务；先硬化 verifier 再扰动任务，防止奖励黑客，提升 agentic RL 训练信号质量。