通过在线策略蒸馏实现弱到强泛化
🧭 弱到强知识蒸馏 · 策略偏移迁移
SIA-Lab of Tsinghua AIR and ByteDance Seed · Institute for AI Industry Research (AIR), Tsinghua University · Department of Computer Science and Technology, Tsinghua University · Peking University
提出 Direct-OPD，将弱模型 RL 前后策略偏移作为隐式奖励，直接提升强模型推理能力
📌 工作参考价值（4 点）
- 在搜索/推荐排序中，若需对大模型做 RL 微调但资源有限，可使用小模型进行 RL（如优化 CTR），然后通过 Direct-OPD 将策略偏移量化为 log-ratio 奖励，蒸馏到线上大模型，避免大模型直接生成海量 rollout。
- 对生成式推荐场景，用 cheap 的小模型 RL 探索（如生成更吸引点击的标题或物品 ID），再以隐式奖励形式强化大模型，无需额外奖励模型即可提升生成质量。
- 在 Agent 系统中，让轻量级 Agent 先探索环境并计算动作概率变化，作为密集奖励训练大型决策模型，降低试错成本并加速策略迭代。
- 工程上可复用弱模型已有的 RL 训练信号，不必重跑昂贵 sparse-reward RL，支持增量组合多个策略改进，适合持续在线学习。
TREK：蒸馏拓探索，强化精炼——面向困难提示的路由训练框架
🧭 RL训练中的困难探索支持扩展 ★ 深度解读
LinkedIn Corporation · Harvard University · Georgia Institute of Technology
用教师或自反提案识别并巩固困难提示，以正向KL先行扩展学生支持，再交还GRPO精炼
📌 工作参考价值（4 点）
- 困难样本识别与路由：在电商搜索/推荐中，同样存在模型反复生成相似低分结果而不探索新模式的“支持塌陷”；可借鉴TREK的硬提示阈值路由（按学生pass rate），仅在困难查询上触发热模型或自反推理来生成候选解决路径。
- 自反思提案生成：无需外部强模型，仅对当前模型增加推理时上下文（如失败记忆、环境反馈）即可产生优质探索轨迹；推荐系统中可让模型基于前序无效推荐生成反思推词或替代匹配路径，作为蒸馏素材。
- 正向KL巩固而非模仿：选择教师/自反轨迹中与学生当前分布距离最近（trimmed NLL）的样本进行短时正向KL微调，避免全盘模仿，保证探索到的模式能快速进入学生采样空间；在推荐Agent的规划或查询改写任务中，可用此方法将RL探索不到的成功交互路径固化。
- 阶段性训练流水线：硬提示挖掘→提案筛选→短正向KL热身→常规GRPO，该解耦设计可插入现有在线RL训练流程，特别适用于搜索多轮交互、对话式推荐的稀疏奖励场景，用少量教师查询换取早期训练效率大幅提升。
TurnOPD：让在策略蒸馏感知轮次以实现高效长时智能体训练
🧭 在策略蒸馏的轮次感知预算优化
复旦大学 · 腾讯混元
通过轮次级预算策略解决长时智能体训练中全轮次 rollout 浪费与令牌级损失偏向浅层的问题
📌 工作参考价值（4 点）
- 自适应 rollout 深度：可借鉴到电商对话 Agent 训练，当模型在多轮交互中已产生足够确定性决策时提前终止 rollout，节省推理时间，适合在线学习场景。
- 渐进式轮次归一化损失：解决序列开头 token 损失占比过高的问题，让训练更关注中后段的关键决策点，适用于需要多步工具调用或搜索推理的推荐/购物助手 Agent。
- 探针统计指导预算分配：通过简单探测动作分布决定是否继续 rollout，这一思路可复用到流式训练资源调度中，动态决定分配给不同样本的计算量。
- 基于壁钟时间的公平比较：该评估方式对业务系统有启示，实际部署更关心训练时间而非采样数，优化壁钟效率比仅看样本效率更有工程价值。
VaseMuseum：面向古希腊陶器的可信多模态数字博物馆 Agent
🧭 Agent 多模态推理与可靠性控制
通过证据级与响应级双重可靠性控制及无训练 GRPO 选择，缓解 VLM 在专业检索中的幻觉与过度自信
📌 工作参考价值（4 点）
- 检索增强生成的双重可靠性控制：在电商商品问答或推荐解释生成中，可先检索权威来源，通过源级控制过滤多样且可验证的证据，生成后由响应级控制检查声明是否被证据支持；若支持度低，强制输出中性回答，有效抑制幻觉。
- 无训练推理时选择机制（GRPO-style）：不更新 VLM 骨干，从多个候选回答中选择引用有效性和置信度校准更好的结果，适合成本敏感或无法微调的场景，可直接嵌入推荐 Agent 的答案生成模块。
- 3D 多模态感知与推理：支持 2D 图像和 3D 点云输入，可为商品 3D 展示、AR 试穿等场景提供知识增强交互的参考架构。
- 模块化 Agent 设计：感知、检索、推理、控制解耦，便于在现有推荐或客服 Agent 中按需插入可靠性控制组件，快速提升可信度。
CanvasAgent：通过视觉工具编排实现复杂图像创建与编辑
🧭 多模态代理 · 视觉工具编排
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)
提出数据集 CanvasCraft 与多模态代理 CanvasAgent，通过 SFT+GRPO 训练，实现多工具协同的复杂图像编辑工作流
📌 工作参考价值（4 点）
- 电商商品图复杂编辑（多步骤生成、分割、文字叠加、增强）可借鉴多工具代理编排思路，将现有图像模型封装为工具，由 LLM 代理按需调用，实现自动化工作流。
- CanvasCraft 数据构建方式：自动合成多步编辑轨迹（生成→定位→分割→替换→融合），可迁移至构建商品图像处理指令数据集，用于训练客服或运营代理。
- SFT+GRPO 两阶段训练范式与混合奖励（结果质量+过程合理性）可用于推荐或搜索代理的多步决策优化，提升轨迹合理性与最终效果。
- 代理在 rollout 中实时检查中间图像状态并动态修正工具选择，该闭环反馈机制可启发构建商品推荐可视化解释代理，按中间反馈调整推荐策略。
EdgeBench：真实世界智能体学习性能的对数S型缩放定律
🧭 智能体环境学习缩放定律
ByteDance
首次发现智能体在真实环境中的长时间学习遵循精确的对数S型缩放定律，R²达0.998
📌 工作参考价值（4 点）
- 长时间运行智能体的性能预测：在电商广告自动优化、推荐系统持续调参等场景下，可借鉴对数S型曲线（$S(t) = \frac{S_{max}}{1 + (t_{mid}/t)^\beta}$）刻画智能体从环境反馈中学习的规律，预估性能饱和点，避免无效等待。
- 任务设计与评估框架：EdgeBench 要求单任务至少 12 小时连续运行并提供多级丰富反馈，类似方式可用于构建电商场景的长期智能体评测集（如七天不间断选品与出价），量化模型在真实业务流中的持续学习能力。
- 学习速度的迭代改进：论文发现智能体学习速度约每三个月翻倍，这启发我们在推荐智能体迭代时，关注模型代际的策略学习效率提升，将“学习速度”作为选型指标。
- 反馈机制设计：任务提供多级环境反馈（即时奖励、子任务完成信号等）是性能规律显现的关键，推荐系统中的智能体也应引入多层次、非延迟的反馈信号，以支撑稳定学习。
KVpop：预测式在线剪枝的键值缓存压缩
🧭 LLM 推理 KV 缓存压缩与剪枝
NXAI · Johannes Kepler University Linz
通过监督未来注意力信号学习固定预算的 KV 缓存淘汰策略，结合延迟评分器，在推理任务上以高压缩比保持性能
📌 工作参考价值（4 点）
- 在电商搜索/推荐系统的 LLM 推理中，KV 缓存是长上下文（如用户行为序列、多轮对话）的瓶颈，KVpop 的固定预算淘汰策略可直接应用于减少显存占用，支持更长上下文而不崩溃。
- 延迟记忆评分器思路可借鉴：对用户行为序列建模时，不急于丢弃近期 token，等积累更多上下文后再判重要性，更准确地保留关键信息（如近期点击可能关联后续购买意图）。
- 未来注意力监督的训练方式可迁移到“查询预判”场景：训练一个小型打分器预测 token 对未来查询的效用，用于动态压缩 RAG 召回文档或对话历史。
- 工程部署中，KVpop 固定预算保证了内存使用上界，适合线上服务稳定运行，可集成到 vLLM 等推理框架中，降低大规模部署成本。
LBR：缓解大语言模型推荐中的长度偏差
🧭 LLM 推荐偏差缓解 ★ 深度解读
Zhejiang University · The Chinese University of Hong Kong · University of Science and Technology of China · Bangsun Technology
首次识别并缓解 LLM 推荐中输入注意力偏差和输出解码偏差，提出轻量级长度感知注意力校准与有效信息长度归一化
📌 工作参考价值（4 点）
- 在电商/搜索推荐中，若使用 LLM 基于文本描述生成候选商品，可借鉴 有效信息长度归一化 改善排序分数：利用商品标题 Trie 树约束的节点分支数计算 token 信息量，归一化时使用信息长度而非 token 长度，避免偏好短或长商品，一站式解决长短标题 bias。
- 在 LLM 输入 prompt 中，不同长度商品描述会导致长商品获得过多注意力，可借鉴 长度感知注意力偏移 方法：根据商品 token 长度在注意力 logits 中加入偏移（如 δ(l) = -log(a·l+b)），仅需两个额外参数，几乎不增加训练开销。
- 对于已采用约束解码（前缀树）生成有效商品的 LLM 推荐系统，LBR 可插件式集成，无需改动模型结构，实验显示平均 NDCG@5 提升 16.82%。
- 在搜索词推荐或 query 改写场景，也可利用 query 模板的 Trie 结构计算信息量，改进候选排序公平性。
Light-Omni：以反思取代推理的轻量级长时记忆视频智能体
🧭 Agent 轻量级视频理解框架
Nanjing University
通过全局与隐状态实现单步上下文驱动动作，以反射取代迭代推理，速度提升12.1倍、精度提高2.4%
📌 工作参考价值（4 点）
- 全局状态压缩历史的方法可迁移到推荐系统的用户行为序列建模：通过层次化合并保留近期细节、总结远期事件，平衡记忆容量与信息保真度
- 隐状态直接驱动动作的架构能避免昂贵的长链推理，适用于实时推荐中的快速决策（如排序、召回策略的动态生成）
- 双状态设计（全局上下文 + 条件化隐状态）分离了语义理解与动作执行，可借鉴到 Agent 框架中提升检索语义对齐性
- 记忆系统作为即插即用模块增强现有模型，推荐大模型可引入类似长短期记忆以提升连续会话的上下文一致性
LLM作为验证器：通用细粒度验证框架
🧭 Agent验证与测试时扩展 ★ 深度解读
Stanford University · UC Berkeley · NVIDIA Research
用token logits期望代替离散评分，实现连续验证并支持评分粒度、重复、分解三维扩展，跨域SOTA
📌 工作参考价值（4 点）
- 连续评分替代离散打分：提取评分token完整logits分布求期望，消除离散评委的高平局率（27%→0%），可迁移到任何需LLM打分排序的场景（广告/商品质量评估），显著提升区分度。
- 三维验证扩展：通过评分粒度（1→20 tokens）、重复评估（1→16次）、标准分解（单标准→多标准Ensemble），验证准确率从73%提升至78%，工程中可按成本预算灵活拼接，平衡精度与延迟。
- 成本高效候选选择：概率枢轴锦标赛（PPT）算法，仅需𝒪(Nk²)次比较（k≪N），利用环形消除位置偏置并集中预算于前k候选，适用于大规模召回后的精排或生成式推荐item pool筛选。
- 验证分数作为稠密RL奖励：将连续验证信号作为中间过程奖励，显著提升off-policy SAC（约1.8×样本效率）和on-policy GRPO（1.1×效率）的训练速度与最终成功率，可直接用于推荐策略或聊天Agent的强化学习优化，无需手工设计奖励函数。
UniSGR：统一语义ID生成与排序的电商生成式推荐框架
🧭 生成式推荐 · Semantic ID 多目标排序 ★ 深度解读
Alibaba International Digital Commerce Group
将多目标排序与语义ID生成联合训练，通过价值感知并行预测和任务感知Token缓解级联系统的目标错位
📌 工作参考价值（4 点）
- 生成 + 排序共享表示：在生成式推荐解码器上直接附加多目标排序模块（PLE），排序损失反向传播优化生成器表示，解决级联架构的目标错位问题，可复用到自家生成式召回系统。
- 价值感知的并行多Token预测（VA-PMTP）：为同一会话中的点击/加购/购买行为分别生成语义ID，并用业务价值权重（购买 > 加购 > 点击）加权的损失函数，使生成器天然偏向高价值候选，适用于多目标场景的召回优化。
- 任务感知Token（TAT）：在解码器输入前拼接可学习的点击/加购/购买任务Token，并通过漏斗感知对比学习（FACL）引导Token与对应行为物品表示对齐，几乎不增加推理成本就能注入目标偏好，适合需要多业务目标解耦的推荐系统。
- STARK树状注意力推理加速：将束搜索的批次维度扩展改为序列维度扩展，利用预定义树注意力掩码消除前缀重复计算，用于语义ID生成推理可获得200%吞吐提升，在检索阶段可直接应用以降低延迟。
信任区域策略蒸馏
🧭 信任区域蒸馏训练范式
Hong Kong University of Science and Technology (Guangzhou) · Microsoft · Xingyun Zhili
动态构建近端教师将在线策略蒸馏转化为稳定训练，理论保证梯度方差控制且零额外开销
📌 工作参考价值（4 点）
- 推荐系统的强化学习训练（如对话推荐）可借鉴：用当前学生策略与目标教师策略的移动平均构造近端教师，替代固定教师监督，缓解梯度方差，提升训练稳定性，无需额外推理开销。
- 蒸馏时引入信任区域约束，避免学生一次性追随强教师导致的剧烈更新，相当于在策略空间上做平滑，可防止训练崩溃。
- 理论部分提供单调改进界，在电商/广告场景中对风险敏感的策略优化（如出价策略、排序策略）有直接指导意义，确保迭代更新不会损害累积收益。
- 零额外计算量的特点适合工业级大规模在线蒸馏，可参考其动态混合系数的简单实现，快速落地到现有 teacher-student 框架。
自主信息寻求：Agentic 推荐系统的路线图
🧭 Agent 推荐系统自主性等级与范式综述 ★ 深度解读
National University of Singapore · Polytechnic University of Bari · Renmin University of China · University of Science and Technology of China
提出融合自主性等级与三种代理范式的统一分类法，系统梳理 LLM 代理如何改造推荐系统
📌 工作参考价值（4 点）
- 用 LoA 定位架构取舍：把自家系统映射到 L0–L5 谱系，明确当前痛点是工具调用（L3）、单 Agent 规划（L4）还是多 Agent 协同（L5），避免一上来就堆多 Agent。
- Agent 辅助而非替代：多数业务不需要 Agent 端到端取代原有推荐 pipeline。借鉴 L2–L3 的检索增强与工具驱动辅助模式，用 LLM Agent 做意图理解、约束推理、解释生成，保持原有召回/排序的稳定性。
- Memory 设计三件套：采纳 working/episodic/semantic memory 的分层设计，用短期对话摘要、跨 session 偏好记忆、语义知识库支撑个性化决策，在电商中可对应“购物车-历史订单-品类偏好”记忆体系。
- 多 Agent 协作的通信成本：从 manager–worker、debate–judge 等协作协议中选型时，优先用结构化工具调用管道而非自由对话，降低长链路中的 token 消耗与错误累积，并提前设计轨迹级评估指标。
超越物品顺序：面向生成式语义ID推荐的时间间隔分词
🧭 生成式推荐 · 时序建模 ★ 深度解读
University of New South Wales · Macquarie University · CSIRO's Data61
提出 ChronoSID，通过在物品表征学习和序列生成中注入离散时间间隔令牌，显著提升语义ID生成式推荐效果
📌 工作参考价值（4 点）
- 将交互间隔按 log-scale 离散为固定桶（<1h, 1h~1d, 1d~1w, 1w~1mo, ≥1mo）作为特殊 token 插入编码器输入，解码器不变，工程改动小，可直接增强现有语义ID生成式推荐模型。
- TA-FAMAE 在物品表征训练中增加辅助时间间隔回归任务，可作为正则项迁移到基于掩码自编码的商品 embedding 预训练中，在不改动线上推理的前提下提升序列建模对时间漂移的鲁棒性。
- 间隙 token 注入策略对编码器长度仅增加 1/3，训练开销可控（训练时间增幅 7%~29%），适合电商场景下的大规模序列建模。
- 长间隔场景（如≥1个月回访）推荐质量提升更明显，特别适合电商中促销召回、换季推荐等用户兴趣易漂移的场景，可作为召回粗排环节的时序增强插件。
dOPSD：基于去噪轨迹自蒸馏的扩散语言模型训练方法
🧭 扩散语言模型 · 在线策略自蒸馏 ★ 深度解读
National University of Singapore
将去噪轨迹的后续步骤作为特权信息进行在线自蒸馏，提升扩散语言模型的推理与泛化能力
📌 工作参考价值（4 点）
- 为生成式推荐中的扩散模型提供训练思路：若采用扩散模型生成Semantic ID或物品序列，可将解码轨迹的后续更“确信”状态作为教师信号，在掩码位置进行蒸馏，无须外部标注，实现纯在线自蒸馏，缓解曝光偏差。
- 通用在线蒸馏技巧：学生状态取随机真实解码步（非随机掩码完成序列），保证训练分布与推理一致。前向KL做主散度比反向KL更有效，因为可覆盖教师分布全貌，针对序列生成任务可优先选用。
- 无标注场景也可用：即使没有答案验证器，只从所有rollout中蒸馏仍能带来提升；验证器仅用于进一步筛选正确轨迹，可显著增加收益，但非强制，适用于推荐中缺乏强监督信号的情形。
- 可迁移至Agent动作序列训练：若将Agent行为建模为掩码序列去噪过程，可利用轨迹内后续步骤呈现的“全局视野”对早期动作提供弱监督指导，无需外部环境奖励或标注。