EM^2Mem：面向大语言模型的事件中心多模态记忆
🧭 多模态 RAG · 事件索引
Zhejiang University · South China University of Technology · Lenovo Group Limited
以事件为中心组织多模态记忆，将异构证据绑定到事件锚点，提升长视频 QA 精度并大幅降低推理成本
📌 工作参考价值（3 点）
- 直播/商品视频问答：按业务事件（商品讲解、优惠发放、试用对比）建立事件索引，把对应帧、ASR、OCR、商品卡片绑定到事件 cell；检索时直接返回完整事件单元，避免 agent 在推理时拼接零散多模态片段，降低延迟与 token 开销（论文减少 63.66% tokens、4.67× 延迟）。
- 召回/证据评测：引入 strict event-level Top-K evidence recall，评估检索结果是否覆盖关键事件而非只看最终答案准确率，可用于商品知识库、直播切片或广告素材检索的离线评测。
- 用户行为记忆：将 session 内行为序列按事件（搜索、点击、加购、下单）聚合为 memory cell，绑定跨通道特征、时间与商品关系，为 LLM 推荐/导购 Agent 提供紧凑、可溯源的上下文，减少推理时的对齐成本。
Graph Machine：边驱动的稀疏动态路由预训练
🧭 稀疏动态路由预训练架构
IterLabs
以可微指针边实现 O(n) 状态 + O(1) 稀疏动态路由，替换 Qwen3-0.6B 75% 层后检索 2-4 个 token 即保持或改善 loss
📌 工作参考价值（4 点）
- 电商推荐中的用户行为序列常达数千甚至更长，可借鉴 GM 的 O(n) 状态 + O(1) 动态稀疏访问思想：用可学习的边/指针替代固定窗口或全局 attention，在序列建模中同时保留长程状态并控制计算与 KV cache 成本。
- 对 Agent 或多轮对话场景，referral mechanism 可看作一种可微的记忆寻址：比固定 top-k 的 RAG 检索更灵活，可以尝试在召回或知识引用模块中引入类似 pointer chasing 的更新，让模型自己学该引用哪些历史状态。
- 工程上，GM 稀疏层每个 KV head 只取 2-4 个 token 即能保持 loss，意味着在线推理时可大幅减少 KV cache 读写和 attention 计算；在推荐模型做长序列或全生命周期建模时，这可能直接降低延迟和显存。
- 注意这是通用 LLM 预训练工作，迁移到电商推荐或搜索需在领域数据上验证混合比例（论文为 75% 稀疏层）、检索 token 数和边更新频率对 CTR/CVR 等业务指标的影响。
hLLM：单次前向解码生成式重排
🧭 生成式重排 · 匈牙利解码 ★ 深度解读
Meta Platforms, Inc.
用匈牙利算法从 LLM 隐状态矩阵直接解出排序序数，以 O(1) 次前向替代逐 token 自回归解码，实现 28ms 近无损重排
📌 工作参考价值（4 点）
- 重排场景可将 LLM 输出从「逐 token 生成序数」改为「prefill 隐状态 → N×K 分数矩阵 → 匈牙利/LAPJV 求解」，推理从 O(N·T) 降为 1 次前向；N≤50 时 solver 在 CPU 约 0.008ms，适合广告/电商候选集实时重排。
- 训练用离线 teacher 蒸馏：大模型对每个 slate 生成完整排列，学生用 Sinkhorn 交叉熵拟合；无需在线 rollout，避免 exposure bias，蒸馏工程成本低。
- 自注意力 scoring head 表现最好：candidate 表示过 2 层 self-attention 再投影到 K 个位置，优于线性 probe 和 slot-query；LoRA 适配 backbone 后优势更明显。
- 去除 teacher 的 reasoning trace 对排序质量几乎无损失，可直接输出序数，省去大量解码 token；LoRA 是吸收排列蒸馏信号的关键。
KGVoyager：基于 Agent 导航的知识图谱无关问答
🧭 Agent 自主导航知识图谱问答
University of Texas at Arlington
一种知识图谱无关的 Agentic 架构，仅用查询端点和轻量类索引即可动态发现图谱结构并生成 SPARQL，F1 提升约 8 点
📌 工作参考价值（4 点）
- 在电商商品知识图谱问答或智能导购中，可以用“轻量类索引 + 动态探索”替代完整 ontology 硬编码：仅维护类目/一级类索引，让 Agent 在查询端点实时发现属性与关系，适应类目和属性的频繁变更。
- 采用 think-act-observe 循环，将 NL→SPARQL 拆成搜索（term→IRI 映射）、探索（发现 schema）和执行反馈（根据空结果/错误修正），比一次性生成更鲁棒，适合线上自然语言到结构化过滤条件的生成。
- 执行反馈作为信号：让 Agent 根据结果异常自动调整约束，减少人工维护规则；该思路可迁移到推荐系统的标签/属性过滤或动态 query 理解模块。
- 工程上只要求 SPARQL endpoint 可查询，不依赖昂贵的 text-SPARQL 标注对，适合快速冷启动新领域或新类目；轻量类索引也减少 prompt 长度，直接降低 LLM 成本与延迟。
MERGED：通过生成专家推理蒸馏的多模态实体解析
🧭 多模态实体解析 · 推理蒸馏 ★ 深度解读
Amazon
无需人工标注，多教师VLM生成推理标签，共识SFT+分歧DPO蒸馏7B学生，PR-AUC超32B基线6.32%且成本降6倍
📌 工作参考价值（4 点）
- 关系定义频繁变化的电商场景（exact/variant/substitute），可直接用多教师 VLM 生成结构化标签与 reason；共识样本用于 SFT，分歧样本用 meta-judge 选偏好做 DPO，无需等待人工 SOP 审核，可把新关系上线周期从月级压缩到天级。
- 让模型输出 label+reason+confidence 的 JSON，并用 label 和 confidence 合成标量分，方便接入现有排序/召回链路；7B 学生单样本 <1s、成本约 $600/百万，适合百万级实时商品匹配。
- 冷启动迁移时不要从基座从头训：从已有相邻任务 checkpoint 继续做一轮 MERGED，10K 样本即可显著提升，适合跨市场/跨品类关系定义快速扩展。
- 生成式推荐/Agent 中若需要模型自我解释，可复用 meta-judge 偏好构造思路，提升 reasoning-label faithfulness；但需评估 meta-judge 的一次性大模型成本。
面向对话推荐系统的双节点蒙特卡洛树搜索结构化上下文建模
🧭 对话推荐 · 结构化状态 + MCTS ★ 深度解读
College of Computer Science, Sichuan University · Institute of Data Science, National University of Singapore · School of Computing and Information Systems, Singapore Management University · Engineering Research Center of Machine Learning and Industry Intelligence, Ministry of Education, China
提出 DREAMS，用双节点 MCTS 在结构化偏好状态上联合优化偏好引导与利用，平均成功率提升约 7.4%
📌 工作参考价值（4 点）
- 用显式结构化偏好状态（JSON key-value）替代直接用对话历史做 embedding 或 prompt，把隐含负面偏好（如“不喜欢 Spike Lee 风格”）解析成可消费的约束，并跨轮累计。电商导购/客服可维护用户属性状态（不喜欢品牌/材质/价格段），避免重复推荐已否定属性。
- 将“何时问/何时推”建模为 MCTS 搜索，节点保存结构化状态而非自由文本，用 LLM 先验 + UCT 选择动作，可减少粗粒度动作错误和无效追问。电商导购机器人可借鉴树搜索模拟用户反馈，决策澄清问题或直接推荐。
- 偏好利用侧做 query refinement：从累积状态生成多个候选查询（删冗余、转成机器可读约束），逐个检索并用属性匹配打分，选最优查询，而不是用整个对话历史编码。可迁移到电商搜索的 query 改写/意图澄清：先结构化成约束，再生成检索请求。
- 工程上，MCTS 延迟可用经验库（EKB）缓存成功/失败轨迹，检索相似案例 warm-start，减少在线搜索，论文中延迟降到 9s 且性能仍可接受（R@1=0.467）。适合低延迟电商场景。
面向竞赛编程金牌表现的后训练语言模型
🧭 LLM 后训练 + 测试时扩展 ★ 深度解读
NVIDIA
端到端后训练+GenCorrect 迭代测试时计算，IOI 2026 得分 535.4 超人类冠军
📌 工作参考价值（4 点）
- 强 teacher 蒸馏 + 难例/自修正 trace 更划算：用大模型为 hard query、长尾 item 或复杂 Agent 任务生成推理与自我修正轨迹，SFT 能带来大部分单次推理提升；预算有限时优先 SFT，RL 作为补充，且不要只用 terminal binary reward，可引入过程奖励或分步反馈。
- GenCorrect 式反馈闭环适合 query 推荐 / 文案生成：并行采样 100-200 条候选，用 token-shingle/embedding 聚类选 10 个多样性代表，再通过 offline/online evaluator 获取分目标得分，维护累计最佳指标并回填 prompt。适合 API/submission 预算受限、需要多样性覆盖的场景。
- 测试时扩展比继续训练模型更有效：论文中 5 轮 GenCorrect 带来 +107~158 分，远超 RL 的个位数百分点。电商搜索结果页、广告文案或推荐解释可先生成大量候选，再用执行反馈或用户信号筛选，而不是一味增大模型规模。
- NVFP4 + MTP 的吞吐-质量权衡可复用：在固定 inference 窗口内，FP8 KV cache + 关闭 prefix caching + MTP=5 使吞吐 3.7x，质量仅小幅下降。若 Agent 需秒级生成大量候选（如自动出价理由、推荐解释），可先做量化/投机解码保吞吐，再用采样多样性补质量。
Repo-To-Skill：从 GitHub 仓库蒸馏 AI4AI 技能
🧭 Agent 技能蒸馏与知识复用
Beijing Academy of Artificial Intelligence · University of Science and Technology of China · Renmin University of China · Hong Kong Polytechnic University
提出 DisCo 与 AREX-Skill 库，将 GitHub 仓库蒸馏为可复用技能，显著提升研究 Agent 表现
📌 工作参考价值（4 点）
- 把推荐/搜索团队常用 ML 仓库、内部训练/推理框架、特征工程、评估脚本等拆成 compact, verified skill 卡（方法族/代码用法/验证检查），挂到 rec-agent 的库中，避免每次任务重读长 repo 或浪费 trial。
- 借鉴 task-agnostic + task-oriented 双轨蒸馏：先离线从 1k 个仓库沉淀通用技能，再按具体推荐/搜索任务（如“多目标精排调参”）定向蒸馏小技能；可显著降低 agent 上下文长度和对长 repo 的依赖。
- 技能组织成 capability families（类似 taxonomy）后，可用检索式挂载，只把 relevant skills 注入 prompt，而不是把整个 repo 塞进 KV cache；这个模式对商品推荐、Query 改写、广告文案生成的 LLM/Agent 工具调用同样适用。
- 验证/评估：每个 skill 需通过可执行测试才入库，保证“知道方法”与“能跑通”结合；在业务 agent 平台里建议引入同样的 skill 验证环节，减少错误工具调用和不可复现实验。
ShallowStream：浅层索引、深层回答的流式视频理解框架
🧭 多模态流式视频高效推理
Harbin Institute of Technology (Shenzhen)
用 MLLM 浅层同时做帧编码与索引构建，查询时按浅层注意力打分并多样性选帧，延迟降低最高 52.1 倍且性能对齐强基线
📌 工作参考价值（4 点）
- 直播电商/短视频理解场景可用“浅层预填充建索引、深层仅对选中片段推理”的两段式架构：常驻只保留浅层 KV cache，在线视频帧不断写入轻量索引，查询时只对高相关帧做完整深度计算，大幅降低延迟与显存。
- 用浅层 attention score 做 query-aware 帧打分，不需要额外训练检索器；类似推荐里用注意力分数筛选候选 item 或行为序列，能把用户当前 query / 意图与视觉片段相关性评估集中到轻量模型。
- diversity-aware selection 可直接迁移到推荐/广告视频素材或直播切片选取：在相关帧集合上做多样性采样，避免连续重复/相似画面霸屏，提升信息覆盖与用户体验。
- 工程上可借鉴“按 prefill depth 分层 KV cache”思路：在线流式处理时低频深算、高频浅算，对长视频/直播流式多模态 LLM 服务有直接成本收益。
世界模型引导的反事实用户参与模拟强化学习
🧭 世界模型反事实用户模拟 · 推荐策略 RL ★ 深度解读
The Chinese University of Hong Kong · Zhejiang University · ByteDance China · MoE Key Lab of High Confidence Software Technologies, CUHK
用冻结 LLM 用户参与世界模型并行预测多候选 item 的异质反馈，转化为奖励训练 1.7B 推荐策略，跨域匹配或超过更大 LLM。
📌 工作参考价值（4 点）
- 把用户反馈模拟器当作离线 RL 奖励源：对同一 history 采样 G 个候选 item，让 UEWM 并行预测反馈，构造 same-state 反事实比较；这比从 logs 学 policy 或 SFT distillation 更符合策略梯度对「同状态多动作」的需求。
- 多信号反馈向量化 + 权重映射奖励：将点赞、分享、差评、评分、评论文本统一向量化，再用权重向量映射为标量 reward；在电商场景可以把点击、加购、收藏、评论情感按业务目标加权，而不是只看点击率。
- 小模型策略优化可落地：用 8B 模拟器奖励训练 1.7B 学生模型，在 Amazon Books/Movies 和 Google Local 上超过 SFT蒸馏和 DeepSeek-GRM 奖励，说明可低成本获得接近大模型的推荐策略，适合粗排/召回级小模型精调。
- 跨域迁移的边界要清楚：UEWM 从中文短视频迁移到英文电商/本地生活做评分/评论预测有效，说明学到的是「从历史推断用户动态」的通用过程；但它是纯文本、只建模用户侧动态，缺少视觉/价格/库存/平台侧约束，接入业务时需补齐多模态与曝光分配机制。
SwapRec：通过训练时交换提升序列推荐冷启动鲁棒性
🧭 序列推荐 · 冷启动 · 训练时替换 ★ 深度解读
Albatross AI · Johannes Kepler University Linz
把冷物品按内容相似度替换为温邻居的训练增强用于序列推荐，显著提升推理时冷替换鲁棒性和冷品曝光
📌 工作参考价值（4 点）
- 如果线上已经用“冷品→最相似温品”的 inference 替换，直接把同一条 NN 映射放到训练里，按概率 p_swap 对输入序列和 target 同时替换；加入 M_swap 限制每序列替换数，能低成本提升 ID 模型对冷启动点击的鲁棒性，不用改架构或加额外组件。
- p_swap 与 M_swap 控制增强强度，M_swap 会让替换更容易落在序列前部，从而给冷品 ID 更多梯度更新；对电商/音乐等有内容 embedding 的目录，直接用 title/description/image embedding 计算 cosine NN map 即可。
- 评估冷启动时不要只看全量 HR，应细分 n_train≤threshold、严格冷启动(n_train=0)、以及 swap/init/drop 三种处理；论文中 baseline 在严格冷启动时 swap 常常不如 drop/init，而 SwapRec 让 swap 成为最佳策略。
- 在 Amazon 数据上，SwapRec 同时提升冷品暴露比例和 catalog coverage（30.7%→31.8%，coverage 0.578→0.632），适合需要平衡新商品/新广告主曝光与精排效果的场景。
TGR：从生成式排序迈向统一生成与推理的工业推荐系统
🧭 生成式推荐 · 统一生成与推理 ★ 深度解读
Tencent PCG
提出并部署覆盖生成式排序、端到端生成和推理增强的工业级生成推荐框架TGR，在腾讯多场景取得显著线上收益
📌 工作参考价值（4 点）
- CCFormer 的特征场分离交叉注意力 + 层次序列压缩：精排模型可借鉴，避免全量 self-attention，用定向注意力流（user→seq、target→seq、target→user）处理异构特征交互，用子空间 token mixing 处理长行为序列，再通过跨层卷积压缩保持长程依赖，训练快 2.21 倍且 GFLOPs 减半，可直接替换现有 DLRM。
- BARGE 的层次路径重排序：在生成式召回（语义 ID 逐 token 解码）中，对 beam search 的候选路径做全局语义一致性重排，而不是只看累计 log-prob，能显著减轻前缀错误传播，两个工业场景 Hit@5 提升 10–17%。
- HiGR 的整页生成：把推荐列表作为一个结构化对象生成，用 coarse-to-fine decoder 分离全局 slate 规划与局部 item 生成，再用 ORPO 直接优化列表级多目标（ranking fidelity、用户兴趣、多样性），推理快 5 倍、P99 <50ms，适合信息流/广告位布局优化。
- TGR-Reason 的离线推理摊销：用 LatentRec 训练 Think 模型离线生成语义 ID 级别的 reason token，在线只作为条件注入生成器，零请求路径推理开销，冷启动新用户 Hit@1 提升 477.8%，可直接用于电商冷启动、长尾商品推荐。
TRIAGE：三级路由与轨迹复用实现高效 Agent 执行
🧭 LLM Agent 轨迹复用与三级路由降本 ★ 深度解读
China Telecom Cloud, Beijing, China
用历史执行轨迹做语义路由与技能化复用，在 1007 条查询上降低 62.3% token 消耗
📌 工作参考价值（4 点）
- 把高频参数化查询做成 0 token 的 Skill 复用：对电商 BI、客服诊断、广告投放 Agent 里反复出现的“改参数不换结构”查询，可以用 embedding 阈值 + 参数抽取 + 模板替换，绕过 LLM 生成 SQL/工具调用；本质是带参数替换的语义 cache，比 GPTCache 更细粒度。
- 路由策略要看 overhead / execution cost 比值：文中 ablation 很直接：LLM router 每条约 224 token 的路由开销，导致整体反而 -37.3% savings；在单条 SQL 生成成本约 197 token 时，zero-cost 阈值路由完胜。迁移到业务时，若单次 Agent 任务成本很高（长上下文、多步工具编排），才值得上 LLM router；低成本的 query 类场景千万不要用 LLM 做路由。
- 用 LLM feedback 自举参数抽取规则：L2 参数替换时，遇到轻量归一化无法解释的差异，再调一次 LLM 判定是否是参数变化，并把结果注册成正则规则；后续同类参数可以 0 token 处理。这个机制很适合商品名、类目、时间窗口等高频可变参数的电商 query。
- 在线冷启动路径可以直接抄：无预训练、无人工标注，前 100 条 query 内 L2 命中从 0 到 57%；适合内部 dashboard、监控告警、运营取数 Agent 上线。但要注意文中提到的 error propagation，自动提取的 Skill 需要加正确性校验或执行后验证，不能直接推全量。
VeriPhy：面向世界模型评估与改进的可审计物理验证智能体
🧭 Agentic 物理推理验证与证据溯源
Carnegie Mellon University · Georgia Institute of Technology · Northeastern University · Adobe Research
用类型化物理义务和冻结专家证据做可溯源三态裁决，覆盖 228/304 个真实生成缺陷
📌 工作参考价值（4 点）
- 在商品短视频/广告创意质检中，可借鉴「先用纯文本 planner 生成 typed obligations 和静态 plan，再调用冻结专家工具」的架构：先定义必须验证的物理/视觉义务（如商品完整露出、文字可读、动作合理），避免 LLM 自由观察导致的遗漏和幻觉。
- 把每次模型判断封装为携带 provenance 的 evidence record，并输出 supported/contradicted/unknown 三态，而不是 scalar score；这样业务审核、badcase 复盘、合规审计能定位到具体帧/轨迹/OCR 证据，便于追责和修正。
- 将 critic verdict 作为 refinement 接口写回生成：在广告文案/视频生成中，不要只用总分 reward，而用结构化失败证据（哪句文案、哪个时刻、哪条义务 violated）驱动 prompt/policy 更新。
- 用 frozen low-level expert（OCR、分割、计数等）而非端到端大模型做测量，可降低幻觉并复用现有服务；在商品属性校验、广告落地页一致性检查中可落地。
VibeVoice-ASR-Streaming：LLM 流式说话人归因语音识别
🧭 LLM 流式说话人归因 ASR
Microsoft Research · University of Chinese Academy of Sciences · Shanghai Jiao Tong University
首个 LLM 端到端流式说话人归因 ASR 之一，交错音频块与少量前瞻音频实现低延迟“谁说了什么”输出
📌 工作参考价值（4 点）
- 面向实时语音 Agent/客服：统一 LLM 直接生成“说话人+转写”，省去独立说话人日志模块，降低级联错误与延迟；输入设计可参考 fixed-size audio chunks + 少量 lookahead audio + previous text 的拼接策略，在语音点单、售后沟通等场景实现流式结构化记录。
- 自托管替代商业 API：在电商/广告会议转录等数据敏感场景，7B/1.5B 开源模型在五个评测集 WER/CER 上平均最低，且 speaker attribution 在 12/13 设置最优或并列，可作为内部服务，避免数据外传并控制成本。
- 工程架构上，用少量前瞻音频而非整句缓存，能显著降低流式延迟；在 Agent 中可类似设计“当前 chunk + 短 lookahead + 上一轮文本”的上下文，减少重复识别和说话人切换丢失。
- 中文电商场景需注意：论文里的中文会议集 AISHELL-4、AliMeeting 上 CER 仍较高（约 30-50%），落地前应基于国内电商/客服语音数据做领域微调，尤其提升中文说话人归因和电商术语识别。