ELDR：面向 PD 分离 MoE 推理的专家局部感知解码路由
🧭 LLM 推理 · 专家局部感知路由
KAIST · Microsoft Research · Shanghai Xingyunzhili Artificial Intelligence Institute
利用预填充专家激活模式路由请求，使解码 worker 加载更少的不同专家，降低 TPOT 5.9-13.9%
📌 工作参考价值（4 点）
- 若业务部署 MoE 模型（如 Mixtral）作为生成式推荐或对话引擎，可借鉴 ELDR 的 batch 调度思路：根据请求在 prefill 阶段激活的专家模式，将同类请求聚到同一 decode worker，减少每个 step 需加载的专家权重数量，降低 TPOT。
- 签名缓存与 KV 缓存联合索引的设计，可直接用于推荐系统长提示（如用户画像、历史行为缓存）场景，保持前缀命中时的专家签名一致性，避免重复计算。
- 平衡负载与专家局部性的“局部带路由”策略，可迁移至多 GPU 推荐模型推理，特别是参数量大的稀疏专家模块，通过离线聚类+在线轻载优先选择，兼顾吞吐与延迟。
- 整体工程实现基于 vLLM，适合快速集成到现有 LLM serving 管线，为推荐系统中的大模型推理提供低成本的延迟优化方案。
ERA：熵引导的视觉令牌剪枝与注意力矫正框架
🧭 多模态大模型推理加速
提出训练免视觉令牌剪枝框架ERA，通过熵引导和注意力矫正解决logit崩塌，实现高效MLLMs
📌 工作参考价值（4 点）
- 训练免剪枝方法：可直接应用于商品图文理解等现有多模态模型，快速降低视觉令牌数量，减少推理延迟，无需重新训练。
- 熵引导锚点选择：利用视觉多样性和注意力头显著性保留商品图像关键区域（如主体细节），防止重要视觉信息丢失。
- 偏置回收与注意力矫正：在广告图片或视频帧压缩后，通过回收剪枝令牌信息并注入logit偏置，维持注意力分布一致，避免输出漂移。
- 即插即用组件：DEP、BTR、LAR可模块化嵌入推理流程，适合实时推荐、多模态Agent等对延迟敏感的场景。
非对称互变分学习实现多模态连续推理
🧭 连续潜变量推理 · 训练-推理校准
Shanghai Jiao Tong University · Ant Group
提出AMVL框架，通过双向KL散度校准缓解训练-推理不匹配，提升连续潜变量推理稳定性
📌 工作参考价值（4 点）
- 电商推荐中，生成式item编码（如Semantic ID）常依赖答案信息（下一item）进行连续潜变量建模，AMVL的双向KL正则可防止后验泄漏未来信息，提升在线推理质量。
- 多模态Agent决策时，若使用连续潜变量规划动作，逆KL惩罚后验可避免利用未来信息，使规划模型更贴近真实推理环境。
- 工程上，双向KL仅增加一个正则项，可简便集成到现有VAE推荐框架，适用于对话式推荐、动态创意生成等交互生成任务。
- 论文对“先验污染”的理论分析以及训练-推理不匹配的量化，为推荐系统中teacher-forcing训练策略的改进提供了新视角。
感知到推理：解耦感知与推理的细粒度视觉推理框架
🧭 解耦感知与推理的细粒度视觉推理
Zhejiang University · Alibaba Group
提出两阶段框架显式分离视觉感知与推理，结合角色感知的交替强化学习，仅用答案监督提升细粒度推理
📌 工作参考价值（4 点）
- 感知-推理解耦范式可迁移至商品图像理解：在商品属性识别、广告素材审核等场景，可让模型先定位“文字/细节区域”作为感知阶段，再基于裁剪区域进行结构化输出，减少高分辨率下的上下文噪声。
- PRA-GRPO 交替强化训练适合弱监督多步推理：电商场景中从图像到复杂描述（如违规理由判定）往往缺乏中间标注，该策略仅用最终结果反馈即可交替优化感知与推理子策略，降低标注成本。
- 高分辨率基准的提升提示可重用视觉搜索步骤：对于商品详情图（4K/8K），让模型显式输出“关键区域坐标”再推理，能直接嵌入搜索推荐系统的多模态链路，提高证件/标签等细粒度识别的鲁棒性。
- 框架具有模型规模扩展性：小模型（2B/4B）也能通过解耦显著受益，适合在资源受限的推荐侧或端侧 Agent 中部署。
高维网格近似最近邻搜索的缩放定律
🧭 高维ANN缩放定律与网格算法
University of California, Berkeley · University of Toronto, St. George · Independent Researcher · University of Waterloo
多探针网格在高维下展现维度不变吞吐，索引成本低，冲击图/树方法的主导地位
📌 工作参考价值（4 点）
- 当推荐系统使用高维嵌入（d≥300）且索引频繁重建（如分钟级更新），可试用多探针网格替代HNSW，利用其近常数维度吞吐和极低索引延迟，避免图索引重建瓶颈。
- 查询时间随N近线性增长，但在千万级数据集上仍可能满足延迟要求；通过调节probe数量可灵活控制精度/速度折中，适合召回延迟不极端的业务。
- 若采用ANN近似自注意力优化大模型推理，网格法的维度不变性可提供更平稳的扩展，值得在推理引擎中作为备选ANN后端。
- 在离线全量索引构建场景（如每日亿级向量重建），网格法的快速索引特性可大幅缩短总耗时，可作为评估向量检索库时的 baseline 方案。
GenPage：Netflix 端到端生成式首页构建
🧭 生成式推荐 · 页面级自回归生成 ★ 深度解读
Netflix · University of Alberta
用单个 Transformer 自回归生成整个多行首页，线上核心指标+0.24% 同时延迟降 20%
📌 工作参考价值（5 点）
- 自定义 tokenization 大幅压缩行为序列长度：将用户行为、属性、上下文映射为固定词汇 token，显著降低输入长度和推理成本，适合搜索/推荐场景中的序列建模。
- 页面级自回归生成 + 混合行解码：只自回归生成每行前几个关键实体，其余通过一次前向评分补全，平衡推理质量与延迟；电商首页、频道页或搜索结果页布局生成可复用。
- 预训练+WBC 后训练范式：先用正反馈页面做 next-token 预训练，再用加权二分类直接预测每个 token 的即时价值，实现端到端生成式推荐器，替代传统多级模型。
- 约束解码实现业务规则硬约束：利用 token 与实体/行的一一映射，通过 logit 掩码强制满足布局、去重、分类要求，适用于生成式推荐的可控输出。
- 上下文注入与语义嵌入融合解决冷启动：对新物品通过注入元数据和内容语义嵌入，让模型在没有交互数据时也能生成合理推荐。
GR2：面向工业级重排序的生成式推理重排框架
🧭 LLM 推理重排序 · Semantic ID ★ 深度解读
Meta AI
通过语义 ID 中训练、推理链蒸馏和可验证奖励 RL，将 LLM 推理引入重排序并解决工业部署瓶颈
📌 工作参考价值（4 点）
- 用 Semantic ID 弥合 LLM 与物品表征鸿沟：传统非语义 ID 不在 LLM 词表中，直接使用会导致推理断裂。GR2 采用的 tokenizer 可将物品映射为≥99% 唯一性的 Semantic ID，并混入中训练语料，使 LLM 能够直接基于物品语义进行推理。电商/广告场景中，尤其适合商品、广告创意这类属性丰富的实体。
- OPD 替代 SFT 防止大规模训练坍塌：当教师-学生大小差距悬殊时，普通 SFT 会出现灾难性遗忘，OPD 以 on-policy 方式用 KL 锚定教师分布，1.7B 学生可恢复 32B 教师 82% 的收益，大幅降低推理成本。在预算有限又需要蒸馏大模型推理能力时，这是比 SFT 更稳定的方案。
- 重排序奖励设计中的反作弊策略：RL 训练时 LLM 会通过直接抄袭输入顺序或利用位置偏差来获取格式奖励分。GR2 采用条件奖励——当输出等于输入顺序且输入非最优时，将排名奖励归零，仅保留格式分，可有效抑制 reward hacking。这对任何使用 RL 做 listwise 优化（如列表广告排序、推荐 feed 排序）的场景都有直接借鉴价值。
- 思考链内部化降低服务成本：在推理增强 RL 后再做一次无 CoT 的 RL 微调，可将推理能力内化到参数中，在推理时无需生成思考链，推理成本降低约 15 倍且排名质量不降。适合对延迟敏感的在线上文，比如搜索广告重排、推荐首屏展示。
GRPO、Dr. GRPO 与 DAPO 统一为组标准差操作
🧭 GRPO/Dr.GRPO/DAPO 统一于组标准差操作 ★ 深度解读
University of Illinois at Urbana-Champaign
三种 RLVR 训练技巧本质上是对同一量（组奖励标准差）的乘、除、过滤操作，且更新量正好等于该标准差
📌 工作参考价值（4 点）
- 在推荐系统的 RLVR 训练中，若奖励为二元（如点击/未点击），优势归一化（除以组标准差）会改变隐式优化目标：除以标准差趋向 arcsine 变换，抬高极端难度样本的权重；去掉则回到原始成功率目标。可根据业务目标选择是否保留该操作。
- 无声组（组内奖励全 0 或全 1）产生零梯度，可借鉴 DAPO 的动态采样：在组 batch 中丢弃 σ=0 的组，避免浪费计算。在广告/搜索的曝光日志中，可预先识别全正或全负的 batch 并跳过更新。
- 组大小法则 G ≳ 1/(8ε p(1-p)) 给出给定难度 p 下达到目标梯度保真度所需的样本数。在物品或广告推荐中，不同物品（如冷门物品）的点击率 p 差异大，可据此动态分配每个 prompt 的采样预算，代替固定 G。
- 可以直接用组标准差作为每步训练的诊断指标：实时监测 σ 的分布和无声组比例，识别模型在哪些难度区间无有效对比信号，从而调整采样策略或奖励设计。
衡量人类与LLM研究想法之间的差距
🧭 LLM生成式评估与品味分布偏差
Yale University · University of Chicago
通过研究品味分类法，量化LLM生成的研究想法在分布上与人类存在系统性偏差
📌 工作参考价值（4 点）
- 可借鉴其双轴分类法，对推荐系统生成的广告文案、搜索建议或解释性文本进行「机会模式×贡献范式」的分布评估，检验是否过度集中于某些低多样性模式
- 在评估LLM推荐的创意（如推送文案、商品卖点生成）时，可仿照其逆向工程人类偏好分布的方法，构建参照集并度量生成结果与人工创意的品味偏移
- 论文的提示工程思路（从相关论文中提取背景、要求生成新想法）可迁移至多路召回策略的生成：给定用户历史行为序列作为“先前工作”，让LLM生成下一个兴趣点，作为候选召回
- 研究本身主要面向学术创意评估，与电商推荐直接关联较弱，但其中“分布差距”的概念可泛化为推荐结果多样性或探索性的衡量指标
基于逻辑值贡献评分识别非字面检索头
🧭 LLM 可解释性 · 检索头检测
University of Edinburgh · Heriot-Watt University · Miniml.AI
提出写感知的 LOCOS 方法，通过 OV 电路输出投影检测非字面检索头，消融时性能崩溃远快于注意力基线
📌 工作参考价值（3 点）
- 对长上下文 Agent 中检索增强生成（RAG）的故障诊断有价值：可通过 LOCOS 定位哪些注意力头真正参与「理解上下文语义并合成答案」，而非字面复制，帮助调试上下文利用不全或幻觉问题。
- 在电商推荐理由生成或搜索结果摘要等需要从长文本中提取关键信息并改写输出的场景，可以借鉴「写感知」检测的思路，评估模型内部是否有效融合了商品描述、用户评价等非结构化信息，而不仅是复制片段。
- 方法本身只需一次性前向传播，计算轻量，适合在生产环境中对模型行为进行可解释性审计，但不直接改变推荐策略，迁移需与下游任务头部微调结合。
基于注意力头的训练无关多模态文档问答归因方法
🧭 多模态归因 · 注意力头定位
University of Massachusetts, Amherst · Adobe Research, San Jose
利用预填充注意力头与校准阈值实现训练无关的多模态问答证据定位，速度提至七分之一。
📌 工作参考价值（4 点）
- 在推荐系统、对话 Agent 生成解释时，可借助注意力头快速定位关键证据（如用户历史行为、物品描述片段），无需额外训练，降低工程复杂度。
- 利用特定层的注意力头选择与校准阈值，可做实时归因，适合高延迟敏感的电商推荐解释场景。
- 思路可迁移至多模态商品问答：结合商品图片和描述，用类似方法自动高亮答案对应的图片区域或文本 span，提升购物体验。
- 训练无关的特性适合冷启动或频繁变更的情景，避免为归因重新训练模型，降低迭代成本。
经典缓存策略失效：面向语义检索缓冲区的学习增强替换
🧭 Agent记忆缓存 · 学习增强替换
LIGHTSPEED, Tencent · The Chinese University of Hong Kong
提出学习增强框架 SOLAR，通过遗憾驱动更新和贝叶斯在线选择，在语义缓存中取得恒定竞争比和 5–75% 的相对提升
📌 工作参考价值（4 点）
- 不要盲信 LRU/LFU：在语义检索缓存场景（如 Agent 记忆、会话推荐上下文）中，由于缺乏时间/频率局部性，简单的 FIFO 往往优于经典策略，可作为安全基线。
- 遗憾驱动的阈值触发：借鉴 SOLAR 的修改时机决策，仅当累积遗憾超过阈值时才淘汰/插入内容，可大幅降低缓存刷新开销（修改率～17%），适合高吞吐在线服务。
- 从隐式反馈中学习选择内容：使用贝叶斯在线学习基于检索命中质量（连续打分）动态选取缓存条目，可迁移到推荐系统中的曝光缓存、实时兴趣表征缓存，提升长尾覆盖与及时性。
- 缓存容量不是越大越好：实验发现的倒 U 型关系表明，过大的缓存可能引入噪声，可尝试将容量视为噪声控制开关，关注“工作集”而非全量存储，避免无效检索干扰。
利用元认知反馈的强化学习实现 LLM 可信不确定表达
🧭 LLM 校准 · 元认知反馈
Yale University · Google Research
提出 RLMF 范式，以模型自我评判质量作为奖励来优化偏好排序，显著提升 LLM 的不确定度校准与边界认知能力。
📌 工作参考价值（4 点）
- 生成式推荐解释的可信度增强：在电商搜索推荐中，若 LLM 生成推荐理由或商品评测，可利用 RLMF 校准模型输出的置信度，使语言表达的不确定性（如“可能适合”“强烈推荐”）更符合真实准确率，提升用户信任。
- 偏好优化的奖励信号设计：RLMF 将自我评判质量（如校准误差）作为奖励项融入偏好优化，可借鉴到生成式推荐模型的排序对齐中，使模型在生成物品描述、理由选择时具备更好的自我评估与保守表达能力。
- 高价值训练样本筛选：元认知数据选择基于模型自我评估挑选高价值样本，可应用于点击率预估、用户意图识别等任务的主动学习流程，减少标注成本并提升样本效率。
- 两阶段解耦式校准：先校准数值置信度，再通过编辑映射到自然语言，这种解耦方法可直接用于推荐解释的生成后处理，在不重训模型的情况下提高解释的可靠性。
浏览器可扩展行为克隆：技能蒸馏复用用户轨迹
🧭 智能体 · 技能蒸馏与行为克隆
将用户浏览器交互轨迹蒸馏为自然语言技能并组织成技能图，让Agent直接复用决策先验
📌 工作参考价值（4 点）
- 从用户搜索/点击日志中蒸馏出紧凑的自然语言意图模板，供推荐或导购Agent直接检索复用，避免重复学习底层操作。
- 构建意图技能图谱，合并相似技能控制规模膨胀，可迁移到电商Query推荐中的意图归类或标签系统去冗余。
- 将行为克隆焦点从低层动作序列提升到高层决策先验，用于自动化运营Agent的策略初始化，减少冷启动探索。
- 利用互联网用户集体行为提炼常见任务流程（如比价、下单），作为生成式推荐的上下文背景或对话策略分支。
LLM Agent 的生成式技能组合
🧭 生成式技能组合 · 任务条件序列预测 ★ 深度解读
University of North Carolina at Chapel Hill · Arizona State University · Honda Research Institute USA
将技能组合建模为任务条件序列预测，用小型解码器联合决定技能子集、数量和顺序，兼顾精度与效率
📌 工作参考价值（4 点）
- 可将推荐/广告系统的模块组合（如多路召回、策略组合）建模为任务条件序列生成，联合决定 Which/How many/Order，比单独检索或人工编排更准。
- 冻结通用编码器+微型自回归解码器（3.9M）架构，参数极少、推理快，适合线上实时服务，可直接替换现有检索式路由。
- 解码时引入 TF‑IDF 检索先验与集合成员先验，有效解决长尾模块选择，业务中可复用 BM25 或自定义相关性分作为 prior。
- 利用模块依赖图自动合成训练数据，减少人工标注成本；电商场景可构建召回→粗排→精排→重排的模块图来生成序列样本。