面向强化学习Rollout的系统感知自推测解码
🧭 LLM训练加速 · 自推测解码
FuriosaAI · University of California, Berkeley
系统感知自推测解码框架，自适应切换推测解码与草稿长度，将RL rollout延迟降低19.6%且不损失模型质量。
📌 工作参考价值（4 点）
- 在RL微调LLM（如GRPO/PPO）时，rollout生成是瓶颈，可直接采用自推测解码（self-speculative decoding）：从目标模型量化出轻量draft模型，无需额外训练，保持与进化策略分布对齐，降低工程维护成本。
- 系统感知的SD切换策略（toggle policy）根据批次大小和计算状态动态开启/关闭推测解码：只在内存密集、并行验证能利用闲置算力时启用，避免计算密集阶段引入额外开销。此动态调度思想可迁移到生产环境的在线推理加速中。
- 接受率感知的草稿长度自适应（acceptance-aware draft-length adaptation）：根据近期接受率动态调节每次推测的token数量，匹配draft质量变化，避免无效生成。类似机制可用于自适应调整推理时的speculative长度，降低延迟抖动。
- 整体框架强调系统级的协同设计，而不只是算法优化。做推荐/Agent类LLM应用时，若涉及线上更新或频繁微调，可考虑将系统负载感知纳入推测解码的调度策略，提升资源利用率。
面向全模态理解的主动感知即推理
🧭 Agent 主动感知与推理优化
The Chinese University of Hong Kong · Shanghai Jiao Tong University · Qwen Team, Alibaba Group · Nanyang Technological University
提出OmniAgent: 首个将长视频理解建模为POMDP迭代循环的原生全模态代理，通过按需主动感知与Agentic RL实现推理-时长解耦和测试时正拓展
📌 工作参考价值（4 点）
- 按需多模态信息抽取：电商直播、商品讲解长视频中，可借鉴“观察-思考-行动”循环设计代理，仅针对用户咨询动态提取关键音视频片段，大幅降低首响延迟与计算开销，同时保持全量信息的可访问性。
- Agentic RL 功劳分配：TAURA 利用回合级熵值将奖励集中于关键发现回合，适合多轮对话推荐、用户意图探索等序列决策场景，有效抑制无意义探索噪声，提升在线学习效率。
- 持久文本记忆解耦：将视觉、听觉等多模态原始数据实时蒸馏为可压缩、可检索的文本记忆，在用户意图漂移或长会话推荐中维持轻量、可扩展的状态跟踪，避免上下文窗口堆砌。
- 测试时正拓展策略：通过动态增加推理轮数提升复杂 query 的推荐/回答质量，可移植到交互式推荐系统的自适应深度推理，实现“思考越久，推荐越准”的效果。
面向无监督检索的时间偏好优化
🧭 时间感知检索 · 偏好优化
Sungkyunkwan University · Microsoft
用时间偏好优化（TRPO）训练无监督稠密检索器，使其偏好时间对齐文档
📌 工作参考价值（4 点）
- 在商品搜索/推荐中，可利用商品发布时间、季节性构建时间偏好对，无需人工标注即可训练检索器优先返回时效性强的物品
- 时间嵌入插值技巧可泛化到未见过的时间段（如未来促销期），解决时间冷启动问题
- 方法轻量：仅需在双塔模型中加入时间嵌入和偏好损失（类似DPO），容易集成到已有推荐召回模型
- 对比超大语言模型嵌入，用72.7倍更小模型达到更高nDCG，适合工程部署中的延迟和成本约束
面向物理科学的深度研究：多智能体框架与综合基准
🧭 多智能体科学推理加速
Shanghai Artificial Intelligence Laboratory · Xiamen University · Chinese Academy of Sciences · University College London · Wuhan University
提出物理科学深度研究基准PhySciBench，并设计多智能体框架DelveAgent，通过自适应规划、双粒度记忆和分层反思显著提升准确率并降低成本
📌 工作参考价值（4 点）
- 模块化多智能体设计可迁移至搜索推荐多步推理：DelveAgent 的自适应规划循环（Adaptive Planning Loop）可直接用于电商搜索中的复杂查询分解与动态规划，比如商品对比、多方约束推荐等需要多步推理的场景。
- 双粒度记忆（Dual-granularity Memory）提升长对话一致性：短期记忆存交互轨迹，长期记忆存领域知识，可借鉴到用户对话系统中，跨 session 保留用户偏好与领域事实，避免重复询问。
- 分层反思（Hierarchical Reflection）实现业务规则自检：物理基础反思机制强制模型验证结果是否符合物理定律，对应电商场景可设计“利润约束反思”“库存约束反思”等模块，降低幻觉，提升推荐合理性。
- 成本降低至 1/3 的工程启发：DelveAgent 在提升准确率的同时大幅降低推理成本，其架构中的知识检索、记忆复用等降本手段，可复用于线上 Agent 的调用优化，减少 LLM 重复推理。
MODE-RAG：流形异常诊断与能量检索增强生成评估的多智能体系统
🧭 多模态RAG幻觉缓解 · 基于能量的多智体评估
School of Computer Science & Tech, Huazhong University of Science and Technology · School of AI and Automation, Huazhong University of Science and Technology
提出多智能体系统MODE-RAG，利用变分自由能和注意力动态门控，结合MCTS与logit惩罚来缓解多模态RAG幻觉
📌 工作参考价值（4 点）
- Agent 动态门控机制：基于内部注意力状态和变分自由能（VFE）的风险评估，可用于电商搜索/推荐Agent的决策路由，对高不确定性查询触发更严格的事实核查，避免复杂推理链中的错误传播。
- MCTS 因果推导修正：在推荐解释生成或对话式推荐中，可借鉴蒙特卡洛树搜索对候选推荐理由进行因果验证，减少编造理由（sycophancy），提升可信度。
- Logit 扰动惩罚逢迎：对于倾向生成迎合用户的虚假解释，通过在解码时施加针对性的logit惩罚，可迁移到对话Agent中抑制讨好性幻觉。
- 多智体协作流水线：Correction和Overseer Agent 的分工模式可复用到搜索推荐系统的后处理流程，例如事实核对Agent、格式化稳定Agent，增强最后输出可靠性。
Moebius：0.2B轻量级图像修复框架，性能比肩10B模型
🧭 图像修复轻量化 · 知识蒸馏
Huazhong University of Science and Technology · VIVO AI Lab
通过新型骨干块与自适应多粒度蒸馏，用2%参数实现超10倍推理加速，修复质量媲美10B级工业模型
📌 工作参考价值（4 点）
- 骨干块中的 Local-λ 和 Interactive-λ 模块将空间与语义信息压缩为固定线性矩阵，大幅减少参数，这种“张量分解”式的特征交互压缩思路可直接用于推荐模型中的 MLP 层或 Attention 层压缩，降低推理成本。
- 自适应多粒度蒸馏策略在潜在空间动态平衡像素、语义等多层级损失，无需解码回像素空间，该方法可迁移到排序模型的知识蒸馏中：在 embedding 或 logits 层直接进行多目标蒸馏，避免昂贵的全图输出，提升效率。
- 将 10B 通用大模型的专业能力蒸馏到 0.2B 任务专用模型，在推荐场景可借鉴为：用大规模通用推荐模型（如 LLM4Rec）蒸馏出针对特定业务（如服饰 Occlusion 预测、商品图补全）的高效小模型，降低延迟。
- 整体框架强调“极致压缩 + 针对性蒸馏”，启发我们在 Agent 工具调用或搜索结果补全等实时性要求高的任务中，构造一个能快速执行的轻量 specialist，而非依赖厚重通用模型。
n-gram 生成式检索的故障分析：分类、实证与诊断工具
🧭 生成式检索故障诊断 · n-gram 模型 ★ 深度解读
Vienna University of Economics and Business
首次构建生成式检索故障分类体系并通过 SEAL/MINDER 发现单 token 主导、元数据依赖、答案串偏置等关键失效模式
📌 工作参考价值（4 点）
- 生成式检索的故障巡检单：可直接将论文的 R/I/T/G 四级分类作为线上系统审查清单，重点检查元数据依赖(R4)、单 token 占比(I3/R2)、答案字符串偏置(I8)等高频陷阱。
- n-gram 评分分析工具可复用：提供的可视化工具通过颜色编码（绿/红/黄）区分唯一相关、唯一负向、歧义 n-gram，可直接集成到电商搜索评测中，快速定位误召或丢失的相关片段。
- 训练数据增强思路：MINDER 引入伪查询(PQ)虽只占 1.4% 的 n-gram 量却贡献 27.7% 分数，说明用合成查询扩展语料是缓解词法不匹配和邻接约束的有效手段，电商中可用商品属性组合生成伪查询扩增训练集。
- 排序特征优化警示：发现答案字符串出现使 Hits@1 从 34.9% 跃升到 75.0%，提示模型在推理时可能进行参数化后合理化。在业务中应避免让 docid 直接包含答案，或至少监控该特征，防止排名严重偏离真实相关性。
OpenRath：以会话为中心的多智能体运行时状态管理
🧭 多智能体运行时状态抽象
提出 Session 作为一等运行时值，统一多智能体系统的状态、分支与审计
📌 工作参考价值（4 点）
- 复杂 Agent 工作流的状态审计与复现：在电商推荐的多步 Agent 决策（如用户意图理解→多路召回→融合排序）中，可将 Session 作为贯穿全流程的一等对象，统一记录工具调用、沙箱操作、内存事件和上下文压缩证据，便于事后复现线上异常或离线评估策略分支。
- 显式分支与合并支持策略探索：推荐 Agent 经常需要并行探索多种召回理由或排序策略，当前依赖外部编排或硬编码，OpenRath 的 fork / merge 操作可直接内嵌到运行时，让 Agent 自行分支验证再择优合并，降低工程复杂度。
- Selector 路由控制流：将控制流决策抽象为 Selector，Agent 可依据 Session 状态动态选择下一步动作（如调用哪个子 Agent 或工具），这对构建自适应推荐流水线（例如根据用户行为密度切换简单规则与 LLM 推理）有直接参考价值。
- 后端无关与可组合设计：Session 抽象屏蔽了底层存储、沙箱与 LLM 提供商的差异，便于在离线实验与线上部署之间迁移，同时 Workflow 的第一类定义能简化多团队协作开发推荐系统的 Agent 组件。
RankGraph-2：十亿节点图学习生命周期协同设计
🧭 图学习全生命周期协同优化 ★ 深度解读
Meta Platforms
通过图构建-训练-服务三阶段协同设计，在十亿规模图上实现高召回、低延迟检索，服务成本降低83%
📌 工作参考价值（4 点）
- 用预计算PPR邻居替代在线图采样：即便面向高阶相似性检索（U2U2I/U2I2I），离线PPR产生的邻居质量不低于在线随机游走，且省去图存储与分布式采样引擎。可直接在标准ML训练框架上训练GNN。
- 联合训练残差量化索引替代在线KNN：将向量检索转化为聚类查表（U2Cluster2I），服务成本降低83%。关键在于引入码本使用频率正则化与偏置码选择，避免连续训练下码本坍缩，这一技巧可直接移植到其他需要联合训练索引的场景。
- 热度偏差校正与边子采样策略：对I-I边按邻居流行度降权（α=0.3），再结合top-K边截断，可将百亿规模图压缩三个数量级同时保留长尾结构信号，对电商场景中的热门商品霸榜问题有直接借鉴。
- 异构共现边统一构建：仅从交互日志同时生成U-I、U-U、I-I三类边，无需引入社交或知识图谱，且U-U和I-I边的权重用共同重合边的对数归一化，可简单有效捕捉协同信号。
REVES：面向测试时扩展的修订与验证增强训练
🧭 测试时扩展训练 · 多步推理修订与验证
Northwestern University · Amazon AGI · Qualcomm AI Research · University of Minnesota
从成功修正轨迹中抽取“接近正确”的中间步骤，构造修订与验证提示进行两阶段交替训练，显著提升多步推理测试时性能
📌 工作参考价值（4 点）
- 多步修正与验证分离：将中间错误转化为独立的修订和验证提示，可借鉴到 Agent 自我修正流程中，将生成改进与错误检测解耦，提升多轮交互的可靠性。
- 高效数据利用：利用成功修正轨迹中的 near-miss 样本生成 off-policy 训练数据，适用于推荐 Agent 的在线学习，减少昂贵的长链采样开销。
- 两阶段交替训练：在线数据增广与策略优化交替的框架，可迁移到需要策略迭代的推荐系统（如动态创意优化、查询改写），平衡探索与利用。
- 约束泛化能力：在约束满足任务上的泛化表现提示，该方法能增强模型对结构化规则的遵循能力，可用于推荐系统中的合规性校验或商品描述约束生成。
RODS：奖励驱动的在线数据合成用于多轮工具使用智能体
🧭 Agent 动态数据合成 · 能力边界检测 ★ 深度解读
Ant Group · Zhejiang University · Westlake University · Shanghai Innovation Institute
利用GRPO中进度奖励方差作为能力边界检测器，动态合成多轮变体解决静态数据信号耗竭，以约20倍更少数据达到大规模离线合成水平
📌 工作参考价值（4 点）
- 能力边界检测的复用：在训练对话推荐或搜索Agent时，可直接用RL的进度奖励方差识别高梯度区域，无需额外推理，用于动态筛选或重放样本。
- 结构化同构重采样：保持任务图结构（如API依赖拓扑、对话状态转移）不变，仅替换场景实体与叙述，生成大量语义连贯的边界样本，可迁移到对话推荐的多轮数据增广中。
- 动态缓冲管理：随着策略迭代，退役已掌握或过难的任务，始终保持训练池处于高方差区域，可借鉴到推荐系统RL训练的样本生命周期管理，避免过时数据稀释梯度。
- 多智能体合成流水线：Planner + Executor + Rewrite + Critique 的流水线设计可直接用于自动生成高质量多轮对话训练数据，减少人工标注，适用于电商客服、语音助手等场景。
RSRank：从表示偏移中学习相关性用于重排序
🧭 重排序 · 表示偏移 · 零阈值过滤
Adobe Research
利用查询在文档条件下的表示偏移作为相关性信号，零阈值过滤，克服启发式阈值依赖
📌 工作参考价值（4 点）
- 将 RS 信号用于电商搜索重排序：在精排阶段，用用户查询在商品描述条件下的 hidden state 变化量作为特征，代替传统 logit 或人工特征，可能捕捉更细腻的相关性，尤其适合语义模糊的长尾 query。
- 零阈值过滤简化工程阈值：RS 信号经投影后，不相关文档得分天然接近 0，可省去离线调阈值的麻烦，线上直接截断即可；在推荐系统召回后过滤粗糙结果时，能减少人工维护阈值的工作量。
- 轻量训练框架便于部署：只需在预训练 LLM 顶层加一个投影头，训练成本低，适合在已有 RAG 或搜索管道中快速实验；电商 Agent 生成推荐理由时，可用此方法对候选知识片段做即插即用的相关性过滤。
- 对齐 Oracle 文档集的思路可迁移：如果业务中存在高相关“理想文档”集合（如人工标注的金牌结果），可以计算候选文档与 Oracle 文档集产生的 RS 相似度作为弱监督信号，用于训练推荐排序模型。
生成式推荐会加深信息茧房吗？一项基于LLM用户模拟的闭环仿真研究
🧭 生成式推荐信息茧房闭环模拟 ★ 深度解读
Shandong University · Renmin University of China · Shandong Provincial Key Laboratory of Computing-Network Integration · Qingdao Key Laboratory of Trustworthy Artificial Intelligence
生成式推荐减缓类别级曝光塌缩但仍在代码空间形成结构性茧房，语义ID与更大模型有助于抵抗蚕食
📌 工作参考价值（4 点）
- 用LLM用户模拟器做闭环评估：在生成式推荐上线前，可参考RecLoop框架搭建“推荐-交互-重训”循环，用LLM agent模拟用户偏好演化，评估长期信息茧房风险，尤其适合需要对算法负向效应进行离线预测的电商/广告场景。
- 监控代码空间的结构化茧房：除了曝光指标，还应监控生成式模型离散码空间的层级熵与Top-κ集中度，重点观察粗粒度层的塌缩，一旦发现早期路由码高度集中，即使终端物品多样化，信息茧房已开始形成。
- tokenization策略的取舍：实验表明Semantic ID比Collaborative ID产生的茧房更轻，因此在电商生成式推荐中优先采用语义量化而不是协同聚类，可以减少流行度偏差向代码空间的迁移。
- 模型容量作为缓冲：更大规模的生成模型（如OneRec 3B vs 0.5B）能保持更宽广的活跃码空间，对抗茧房塌缩，所以在算力允许时选择较大LLM backbone有助于长期信息多样化。
SproutRAG：注意力引导的树搜索与渐进式嵌入用于长文档RAG
🧭 RAG长文档检索 · 层级树状检索
University of British Columbia · ServiceNow Research
利用学习到的句子间注意力构建二叉分块树，实现无外部LLM调用的多粒度层次检索，平均信息效率提升6.1%
📌 工作参考价值（4 点）
- 对于电商RAG场景（如长商品描述、用户评论聚合），可借鉴其基于句子级注意力自动构建语义树的方法，替代昂贵的LLM分块，降低索引延迟和成本。
- 多粒度beam search在召回侧能同时捕捉细节与上下文，可应用于广告文案生成中的多尺度信息检索，提升信息覆盖度。
- 端到端联合训练embedding与树结构的思想，可迁移到推荐系统的层级user/item表征学习，如构建多粒度的Semantic ID树，提升检索效率与效果。
- 注意力头选择的机制暗示了在特定领域（如商品属性）可预先分析哪些注意力模式更有效，定制化剪枝或微调，避免重复推理。
Sumi：从头预训练的开源7B均匀扩散语言模型
🧭 均匀扩散语言模型预训练
Tohoku University
首个从头预训练的大规模均匀扩散语言模型，在知识、推理、编码上与同规模自回归模型竞争，常识略弱
📌 工作参考价值（4 点）
- 扩散生成允许任意位置并行更新，可用于搜索/推荐中的 query 改写、item 描述生成，利用温度调控多样性；微调时可将扩散步数作为可控 knob，平衡质量与延迟。
- 在 Agent 场景中，均匀扩散的迭代修订特性适合生成多步推理或计划，支持中途修正输出，相比自回归更灵活。
- 教育数据偏重导致常识弱，启示我们在推荐领域微调时需注入大量领域交易日志、用户评论等语料，避免常识缺失影响自然度。
- 开源训练配方和完整数据混合说明，可直接复现或调整配比，构建面向电商/广告的垂直 LLM 基座。