DiffusionGemma：基于 Gemma 4 微调的离散扩散高速文本生成模型
🧭 文本扩散模型 · 高速块生成 ★ 深度解读
Google DeepMind
通过微调 AR 模型结合 RL 与采样器蒸馏，实现离散扩散文本生成，速度达 ~1500 TPS，远超自回归模型
📌 工作参考价值（4 点）
- 块级并行生成降低延迟：在需要实时响应的对话或文案生成场景中，可直接借鉴 DiffusionGemma 的块扩散范式，采用 256 token 并行去噪的方式代替逐 token 解码，大幅降低单用户服务延迟，尤其适合低并发、低批量的推理场景。
- RL 与采样器蒸馏联合训练可压缩推理步数：对生成式推荐或搜索改写等系统，可设计类似的在线训练流程（SD·RL），将奖励最大化与推理步数压缩作为联合目标，使模型在保持生成质量的同时大幅减少前向次数，提升吞吐。
- 自适应停止机制动态节省算力：对于不同复杂度的任务（如简单商品描述 vs. 复杂推荐理由），可以引入基于预测熵的自适应停止策略，对简单任务早期停止去噪，避免固定步数浪费计算，实现“按需计算”。
- 保留 AR 能力实现混合解码：在 Agent 系统中，可根据延迟要求和任务复杂度动态切换扩散模式或 AR 模式，或混合使用两者，平衡生成速度与质量，为请求路由策略提供新的自由度。
动态探索图：支撑动态多媒体数据集高效近邻搜索的新方法
🧭 动态向量索引 · 图算法优化
Visual Computing Group, HTW Berlin
提出动态图索引 DEG，以连通性保持顶点删除和分布无关扩展实现高效动态 ANNS
📌 工作参考价值（4 点）
- 电商推荐中商品向量索引频繁增删（新品/下架），DEG 的在线动态更新机制可替代全量重建，降低工程复杂度与计算开销。
- 顶点删除算法保证图连通性，可借鉴到召回索引的结点下线逻辑，避免因删除引发召回缺口。
- 分布无关的图扩展不依赖数据分布先验，适合电商长尾、冷热不均的嵌入分布，维持索引平衡。
- 流式场景下构建时间与检索吞吐优于 FreshDiskANN 等方法，适合实时推理服务，可转用到 Agent 动态知识库的向量检索模块。
DualG-MRAG：解耦宏观推理与微观匹配的多模态检索增强生成
🧭 多模态RAG · 宏观-微观图解耦
SKLCCSE, School of Computer Science and Engineering, Beihang University
双层次图框架解耦宏观拓扑推理与微观证据匹配，抑制多模态RAG中的检索噪声
📌 工作参考价值（4 点）
- 宏观-微观图解耦架构：可迁移到电商多模态知识图谱构建，宏观层建模商品、品类间拓扑关系，微观层存储细粒度属性（如颜色、材质），分开处理避免全局推理时被局部噪声干扰，同时保留精确匹配能力。
- 查询驱动的GNN消息传递检索：作为意图感知的多模态召回模块，以用户查询为起点在图上游走传播相关性，替代单纯向量相似度匹配，更适合需要多跳证据链的复杂推荐场景（如“适合户外旅行的轻便双肩包且防水”）。
- 动态规划解码显式推理路径：不再给LLM灌输零散文档块，而是提取“图片A→属性B→场景C”的结构化路径，可提升生成式推荐或问答的可解释性，便于业务调试与用户信任。
- 细粒度视觉特征的层级使用：微观图保留局部视觉证据，宏观图仅用粗粒度表示，避免图规模爆炸；在商品搜索中可对详情图做类似分层，平衡效率与精度。
EMBL AI 图书馆员：面向 AI 代理的生命科学文献知识层
🧭 面向 AI 代理的文献检索 · 证据提取
EMBL Rome, European Molecular Biology Laboratory · European Bioinformatics Institute (EMBL-EBI) · Sapienza University of Rome · Uppsala University · Heidelberg University
将结构化文献搜索升级为自然语言证据检索层，大幅提升科学代理的问答、验证与综合性能
📌 工作参考价值（4 点）
- 领域知识层架构可迁移至电商导购 Agent：将核心思想——用 LLM 将自然语言问题分解为互补子查询，对接现有搜索引擎 API，并以“证据”而非整篇文档返回——直接用于构建商品知识检索层，为电商对话推荐 Agent 提供精准的商品属性、评价摘要或政策依据。
- 子查询规划与合并策略：借鉴其 LLM 动态生成多个子查询、去重并汇聚证据的方式，可用于复杂推荐解释或多条件检索场景，避免 Agent 硬编码搜索语法，提升召回覆盖率和信息密度。
- 评估方法启发：论文使用的 Citation F1 指标可用于推荐系统生成解释时的引用准确率评估，尤其适合需要引用原文（如用户评价）的场景，可设计类似的证据覆盖度与精确度指标。
- 实时检索与证据定位流水线：该工作结合了现有搜索引擎的实时检索与 LLM 的精读定位，方案轻量且无需重新索引，电商领域可直接套用此模式，将商品搜索 API 与 LLM 结合，为 Agent 提供“事实性回答”能力，降低幻觉风险。
ExtractBench：模式引导的企业文档提取评测基准
🧭 文档信息提取 · 评测基准
RunLLAMA AI
首个同时评估值准确率、记录完整性、溯源和成本的模式引导提取基准，揭示长文档截断与成本权衡
📌 工作参考价值（4 点）
- 电商文档自动化中的评测设计：直接复用 value F1 与 grounding F1（word-level、page-level）评估发票、订单、表格等复杂文档的提取质量，尤其关注长列表字段的完整性截断问题，可避免线上漏单。
- 成本与精度权衡的工程选型：参照论文对商业 VLM（如 GPT-4o、Claude）与编程代理（coding agent）的成本/精度对比，在实时性要求高的电商场景用 VLM，在离线批处理用 coding agent，或使用 LlamaExtract Agentic Plus 这类成本仅为 1/10 的系统。
- Schema 驱动 Agent 的落地验证：论文中 schema 即 JSON Schema 定义字段与类型，可直接用于电商的 SKU 属性提取、报关单信息提取等有明确 schema 的场景，强化 Agent 的指令遵循与证据追溯。
- 挑战场景的针对性优化：根据 13 种挑战标签（如扫描件、手写、密集文本）细分指标，定位自身业务中的高难度文档类型，针对性地调优预处理或模型选型。
FiRE：细粒度上下文学习增强多模态大模型复杂图像检索
🧭 细粒度上下文学习 · 图像检索
Shandong University · City University of Hong Kong · Harbin Institute of Technology (Shenzhen) · Shandong Jianzhu University
提出自动化细粒度五元组数据集构建与两阶段解耦微调，显著提升MLLM零样本复杂图像检索性能
📌 工作参考价值（4 点）
- 自动化细粒度比对数据构建：通过流水线生成包含图像、细粒度描述、修改文本的五元组，可复用于电商搜索中构建“参考图 + 修改指令 → 目标商品”的训练数据，改善组合查询效果。
- 两阶段解耦微调思路：先让模型学习细粒度上下文推理（理解修改意图），再对齐查询与目标表示，这一策略可迁移到多模态搜索、对话式推荐等任务，先理解用户意图再优化匹配。
- 轻量级MLLM也能实现强检索：文中用小型骨干即超越大模型，说明在业务中可通过精细的数据与微调设计，避免依赖超大模型，降低推理成本。
- 零样本能力直接用于检索重排：训练后的模型可直接计算查询与候选图像相似度，适用于搜索结果重排序，尤其在长尾查询或组合查询场景下提升相关性。
工业级推荐系统的异构排序：Google Discover 案例研究
🧭 多任务 MoE 异构排序 · 跨类型公平性 ★ 深度解读
Google
提出 HA-MoE 架构将内容类型异构信号显式注入门控与专家调制，通过 LENS 可观测框架与 DL-AUC 指标打破负迁移并保障跨类型排序公平性。
📌 工作参考价值（4 点）
- 用显式类型信号调节 MoE 门控与专家：在电商/信息流中若需混排广告、直播、图文等多种内容，可在 MMoE 基础上将 item_type 等离散特征直接拼接入门控输入，并对专家输出做 FiLM 式的 scale & shift 调制，低成本实现内容自适应，避免少数类被淹没。
- 轻量级跨类型排序公平性指标：业务中常用全局 AUC，但可能掩盖广告压制短视频等问题。可参考 DL-AUC = λ·Micro-AUC + (1-λ)·Macro-xAUC，计算各内容类型间正负样本的交叉 AUC 均值，作为模型选优的硬约束，尤其适合有流量倾斜风险的场景。
- MoE 专家分工的可视化与监控：LENS 的激活切片能直观展示不同内容类型/任务所用专家的分布；PIEM 通过匈牙利匹配计算跨 run 的专家功能相似度，可做成自动巡检指标，在 warm-start 训练中快速发现专家坍缩或功能漂移，比等跑完完整评估更快更省。
- 多任务冲突的缓解技巧：共享底层 MLP 容易造成正负目标 seesaw，MMoE 直接替换有时仍会恶化某项。HA-MoE 通过异构信号解耦专家泛化能力，可复制到广告/搜索的「点击率+转化率+负反馈」联合优化中，尝试将场景/媒体特征注入类似 gate 和 expert 内部。
供应链运营耦合策略端到端协调框架
🧭 端到端供应链决策协调
The University of Hong Kong · OptiMax AI · JD.com
将供应链多阶段决策实体化为token，通过共享表示和顺序解码实现端到端协调。
📌 工作参考价值（4 点）
- 多阶段决策耦合：推荐系统召回、粗排、精排、重排各阶段目标常不一致，可借鉴 SCOPE 的共享操作表示和顺序决策范式，让后阶段以前阶段输出为条件，端到端优化整体业务指标（如 GMV、成交率）。
- 业务实体 Token 化：将用户、商品、场景等视为 token，用统一编码器在上下文内交互，替代各阶段独立的特征工程，实现跨阶段信息高效复用。
- 策略网络替代启发式规则：供应链分阶段优化多基于固定规则，类似推荐中粗排的静态打分或重排的经验规则，可替换为可学习策略，与最终效用对齐，减少碎片化调优。
- 共享系统级效用函数：设计能评估完整推荐列表最终价值的效用模型，指导各阶段决策生成，从局部优化转向全局最优，提升全链路一致性。
构建数值智能基础模型：跨学科泛化的统一上下文算子网络
🧭 数值智能基础模型·图上下文学习
National University of Singapore
提出 UNICON，以图结构示例作为上下文学习数值系统预测关系，实现跨学科零样本泛化，结合 LLM Agent 可超越专家模型
📌 工作参考价值（4 点）
- 时序图数据（如用户-商品交互图）上的预测任务，可借鉴 UNICON 将系统示例组织为图上下文进行少样本推理的模式，无需微调即可泛化至新场景。
- LLM agent 与数值模型松耦合的架构：LLM 负责任务理解与分解，UNICON 作为数值预测后端，此模式可用于搭建混合智能推荐系统，让语言模型调用专用数值预测器。
- 训练语料多样性直接提升跨域泛化能力的结论具有普适性，在构建跨品域 / 跨场景的推荐模型时，应主动增加训练数据的领域多样性。
- 目前主要面向科学与社会系统数值预测，与电商 / 推荐业务的直接关联有限，核心价值在学术层面。
GUI 代理为什么正确却迟到？预编译策略树消除解码延迟
🧭 Agent 决策时延优化
Georgia Institute of Technology · Fudan University · Marquette University · University of North Carolina at Chapel Hill · National University of Singapore
提出自适应预期策略树，在空闲时提前规划 GUI 动作分支，事件触发时即时匹配执行，消除自回归解码延迟
📌 工作参考价值（4 点）
- 在实时推荐/竞价系统中，若候选动作集可枚举（如固定模板、预设回复），可用预编译策略树将 LLM 推理从在线关键路径移出，仅保留轻量状态匹配，避免解码延迟导致错过机会。
- 分支路由准确性是决定效果的关键瓶颈，工业落地时需重点优化状态匹配模型（如训练轻量分类器或规则引擎）以降低误匹配率。
- 借鉴“延迟感知的树规模控制”：根据系统解码时延动态设定策略树层数，确保覆盖可能的等待时间，避免过度规划浪费资源。
- 对于多模态 Agent 架构（如电商导购助手），可考虑将屏幕截图的变化检测与预编译分支结合，实现低延迟响应，尤其在闪购、秒杀等瞬态场景。
缓解跨教师在线策略蒸馏的风格偏差：Lightning OPD 2.0
🧭 跨教师在线策略蒸馏的风格偏差校正 ★ 深度解读
NVIDIA
通过交叉拟合风格残差化消除教师不一致带来的风格Token偏差，使OPD不再依赖教师一致性
📌 工作参考价值（4 点）
- 在电商/推荐系统的生成式模型蒸馏中，若SFT数据生成器和蒸馏教师不同（如SFT用GPT-4，蒸馏用Gemini），可直接引入风格残差化：构建Token身份与上下文（位置+surprisal）双查找表，用交叉拟合估计风格偏差并从Token级监督信号中减去，避免误伤内容相关token。
- 工程实现上，离线预计算SFT rollout和教师log概率后，分K折交叉拟合查找表，再用残差信号替换原始教师分数，即插即用于Lightning OPD框架，几乎无额外推理开销。
- 当因成本或数据来源多样无法维持教师一致性时，此方法解耦了SFT生成器与蒸馏教师的选择，允许独立优化，同样适用于推荐场景中多模型协同蒸馏（如召回、排序模型蒸馏）。
- 分析思路值得借鉴：用响应平衡(reduce)避免长文本主导估计，用position/surprisal bins代替完整前缀上下文，防止过分稀疏且保留足够泛化性，可推广至其他序列生成任务的跨模型校准。
鸡尾酒交谈者：噪声社交环境下的多说话人对话建模与回复动作强化学习
🧭 语音对话 Agent · 回复时机决策
Columbia University · University of Washington · University of Illinois Urbana-Champaign
用三个动作令牌（回应/倾听/忽略）与 GRPO 强化学习，让语音助手自主决定是否开口
📌 工作参考价值（4 点）
- 多轮对话中的回复节制：电商客服或语音助手可引入 <respond>/<listen>/<ignore> 动作令牌，避免在不必要时打断用户或产生噪声回复，提升多用户混用场景下的体验。
- 离线 RL 微调决策时机：借鉴 GRPO（Group Relative Policy Optimization）在离线对话数据上优化回复策略，无需在线试错，可安全部署到推荐对话系统。
- 数据仿真管线复用：Cocktail-DialogGen 使用 LLM 模拟多角色社交对话，可迁移至电商导购场景，生成带角色、意图标签的多轮混合对话训练数据。
- 语音与文本决策的统一：将语音输入和文本决策统一到一个 LLM 框架，为未来多模态搜索推荐（如语音搜索 + 对话式推荐）的决策层设计提供参考。
阶段回放分歧跟随KV缓存：固定前缀精度控制与双向缓存移植
🧭 LLM推理诊断·KV缓存与数值精度
Openhagen
发现推理阶段回放的分歧由KV缓存状态决定，FP32可消除BF16下的解码分歧，双向缓存移植证实因果性
📌 工作参考价值（4 点）
- 在需要严格复现生成结果的场景（如Agent多步推理、离线评估、A/B测试）中，必须保持KV缓存位的精确一致，仅依赖相同token ID和贪婪解码还不够；若使用BF16混合精度，意外分歧可能被误判为模型行为变化。
- 推荐使用FP32进行关键路径的推理或缓存存储，以避免因精度导致的隐性分歧；若必须使用BF16，需通过逐令牌桥接验证缓存等价性。
- 双向缓存移植技术可用于诊断生产环境中不可复现的生成轨迹，能快速定位分歧源头是模型权重还是缓存状态。
- 在构建基于LLM的推荐Agent时，若采用中间状态暂停-继续的策略，应固定前缀缓存并控制精度，避免因缓存重建引入不可控的推荐结果漂移。
揭示大语言模型常识推理中的显著偏差：知识抑制而非缺失
🧭 LLM常识推理中的显著偏差与知识抑制
Shanghai Jiao Tong University · ByteDance Inc
LLM在常识推理中易被无关显式干扰项劫持，实为知识被抑制而非缺失，轻量提示即可大幅恢复。
📌 工作参考价值（4 点）
- 推理时加入忽略干扰指令：在推荐Agent或搜索任务的prompt中显式加入“忽略无关数字/显式条件，基于常识前提推理”的指引，能低成本缓解类似偏差。
- 两步式推理设计：先让模型剥离任务框架单独激活领域常识（知识探测），再结合具体条件进行决策，可避免关键知识被干扰项抑制，适用于商品适用性判断、场景化推荐等需常识推理的场景。
- 干扰项隔离与测试：在构建面向Agent的评估集时，引入无关高显著度特征（如随机用户ID、冗余时间戳），检验模型是否会错误依赖这些特征，借鉴SaliTrap的陷阱构造方式提前暴露系统脆弱性。
- 提示工程优先于微调：该工作表明常识推理瓶颈主要在于知识引出而非模型能力，因此优先优化提示策略（如加入“先思考隐含前提”的思维链）的ROI远高于重训模型。
LLM驱动生成式解耦：本地生活服务可解释SID生成
🧭 生成式推荐 · Semantic ID ★ 深度解读
Kuaishou Technology
提出先解耦后量化的SID生成框架，将LLM纠缠隐状态分离为地理与语义槽再分别量化，大幅降低SID冲突并提升推荐效果
📌 工作参考价值（4 点）
- 电商/本地推荐中的SID冲突解决：本地生活或电商场景中，地理、品牌、类目常纠缠在同一隐空间，导致量化后SID高频碰撞。可借鉴LGRID的生成式解耦思路，在LLM编码后加入结构化解耦块，将地理层级和语义属性显式分离后再分别量化，显著降低冲突率（从97%降至39.9%）。
- 属性可解释性训练：通过课程式属性解码（coarse-to-fine）和结构感知对比学习，可以利用少量监督让LLM隐状态具有显式的属性语义，实现高精度的粗/细粒度地理解码（>99%），这种可解释表征可直接用于冷启动物品画像或可解释推荐标题生成。
- 双流残差量化的多属性扩展：DSRQ对地理和语义槽使用独立码本，避免码本竞争，同时保持粗到细的层次结构。当业务存在多类异构属性（如价格段、适用人群）时，可复用该双流思路，每个属性流独立量化，再拼接成统一SID。
- 工业部署友好：离线SID构建仅增加约1.56倍时间，在线延迟几乎不变（1.04倍），仅需查表获取预生成SID并与原ID嵌入拼接，不改变推荐模型结构，适合大规模工业系统直接嵌入。