AutoMem：将记忆管理作为可训练技能的自动化学习框架
🧭 Agent 记忆管理自动化 · 长程任务优化
Stanford University
通过双循环自动优化记忆结构与训练记忆熟练度，将记忆管理变为可学习技能，在长程游戏中实现2-4倍性能提升
📌 工作参考价值（4 点）
- 可迁移的记忆架构：将文件系统操作提升为一级记忆动作，与任务动作并列，让模型自行决定何时读写笔记。电商推荐Agent可借鉴此模式，维护用户长期偏好文件、会话上下文文件，实现跨会话记忆。
- 自动优化记忆提示与模式：手工设计记忆结构（提示、文件模式、动作词汇）在长程任务中不可行。可借鉴其外循环思路，用强LLM审查历史推荐交互的完整轨迹，自动迭代优化Agent的记忆结构，减少人工工作量。
- 利用成功轨迹训练记忆决策：内循环从大量episodes中提取好的记忆决策（何时记录偏好、何时检索历史），作为微调信号。在搜索/推荐Agent中，可挖掘用户满意会话，训练模型做出更好的记忆操作，提升长期用户体验。
- 记忆与任务分离的优化范式：仅优化记忆技能，不改动任务动作行为，就带来巨大提升。表明在复杂推荐系统中，可将记忆管理作为独立模块针对性优化，性价比高。
表征分布匹配实现一步视觉生成
🧭 生成模型训练与一步蒸馏
EPFL · Valeo.ai · Sorbonne Université
用修正的MMD、超大批次和平衡编码器组抗投机，将多步扩散模型蒸馏为一步生成器
📌 工作参考价值（4 点）
- 推荐生成式模型蒸馏：可借鉴 RDM 范式，用预训练的用户/物品编码器计算表征分布距离（如 MMD），替代传统扩散损失，将多步扩散推荐模型蒸馏为一步生成器，降低推理延迟。
- 抗投机评估：单一编码器的分布距离可能被“游戏”，推荐系统在做离线评估时，应采用多个独立预训练编码器的组合指标（如类似 SW_r14 的切片瓦瑟斯坦距离），确保生成质量真实提升。
- 超大批次训练：MMD 估计需要大 batch size（>2048）来稳定梯度，推荐场景中在使用分布匹配损失时，应设计足够大的负采样或跨 batch 缓存机制，否则训练效果会显著下降。
- 训练效率：iRDM 仅 90 H200 GPU 小时就能将四步 FLUX.2 蒸馏为一步模型，且指标超越原版，该高效蒸馏方案可推广至推荐系统的文本/图像生成模块，快速实现低成本部署。
从近似到涌现：深度学习理论统一框架
🧭 深度学习理论统一框架
Sun Yat-sen University
系统梳理深度学习理论，从经典近似、优化、泛化到现代涌现现象，构建统一研究叙事
📌 工作参考价值（4 点）
- 本书为纯理论综述，业务可借鉴点有限。
- 关于 scaling laws 和 emergence 的理论分析可辅助理解大模型在推荐系统中的行为：随着模型规模和数据量增长，性能可能出现跃升，指导资源投入策略。
- 泛化与鲁棒性理论可应用于推荐模型的离线评估与线上风险控制，尤其面对分布偏移时。
- 机制可解释性理论为推荐模型的特征重要性归因、内部行为诊断提供思想框架，有助于提升模型可信度。
从SRA到Self-Flow：数据增强还是自监督？
🧭 扩散模型训练中数据增强机制解析
The Hong Kong University of Science and Technology · Zhejiang University of Technology · Baidu Inc.
证明Self-Flow的改进主要来自双重时间步的数据增强，而非跨噪声token的自监督交互
📌 工作参考价值（4 点）
- 扩散模型训练加速：在推荐系统（如生成式推荐、用户行为序列生成）中训练扩散Transformer时，可直接采用Attention Separation作为一种简单有效的训练技巧，通过阻断不同噪声步token间的注意力，将一个样本拆成多个有效训练部分，扩大数据规模，加快收敛。
- 省去外部编码器依赖：该方法基于自表示对齐，无需额外的预训练编码器（如DINOv2），适合电商场景下多模态数据快速迭代，降低推理成本。
- 训练鲁棒性提升：实验表明，去除噪声间交互甚至优于允许交互，说明在搜索/推荐场景中，对不同噪声水平的序列片段独立建模可能更利于学习干净表示，可尝试在用户长期行为建模中引入类似分片增强。
- 可与现有框架嫁接：Attention Separation不改变模型结构，仅修改注意力掩码，可即插即用于各种DiT基推荐模型（如DreamRec），低风险提升训练效率。
CoPersona：基于协作人格图的鲁棒 LLM 个性化
🧭 LLM 个性化 · 图协作消偏 · 多面建模 ★ 深度解读
Yale University · Samsung
通过构建多面相似度图来借力行为相似的同伴，缓解因用户历史稀疏与偏斜导致的个性化生成冷启动
📌 工作参考价值（4 点）
- 面对用户历史稀疏的场景：可用协同的思路，从行为相似的同伴那里“借”信号补全用户的弱项维度，而不是仅在自身上检索。
- Facet 解耦与多面图构建：先无监督地归纳出全局人格面（如评论中的 tone、主题偏好、价值观），再按面分别建相似度图，可避免全局相似度带来的噪声。该思路可直接用于品评文案生成、商品推荐理由个性化等任务，按“写作风格”“价格敏感度”等维度对用户分层。
- 双分支推理架构：非参分支提供可解释的文本范例，供 LLM 作为上下文；参数分支通过可靠性门控在图上游走补全弱置信度面的向量，再压缩成软提示 token 注入 LLM，两者互补。实际工程中可按资源拆解：低成本场景只用检索范例，高成本场景加训软提示。
- 可靠性标签与门控：为每个用户每面的摘要打分（none/weak/moderate/strong），在图传递时根据可靠性加权，避免低质量信息污染。类似地，在 Agent 协作中可按证据强度对同伴信号加权，降低幻觉。
单图无害，多图有害：防止普通图片组合隐含的有毒语义
🧭 多模态安全 · 隐含联合语义
The Conversational AI (CoAI) Group, DCST, Tsinghua University
定义多图隐含毒性（MIIT）问题，构建数据集并训练推理蒸馏模型，在审核中超越商业API
📌 工作参考价值（4 点）
- 电商场景中，用户多图晒单或商品详情页的图片组合可能隐含违规（如暗示毒品器具），可借鉴多图联合推理的审核机制，将单图无害的概念纳入模型输入，提升对组合语义的捕捉能力。
- 训练阶段采用“渐进式蒸馏推理监督”：先让强模型生成有推理链的标注，再逐步蒸馏到小模型，产出带实体关联解释的判定结果，有助于审核人员快速确认风险。
- 工程上可设计两阶段流水线：先快速过滤单图明显违规，再对剩余多图组合进行联合编码推断隐性风险，平衡延迟与召回。
- 数据集构造的自动化流程（利用LLM生成危险组合描述、图生成模型合成图像）可作为扩充审核负样本的手段，缓解组合风险样本稀缺问题。
当RAG遇上查询规划：用逻辑查询树解决探索性推理问题
🧭 复杂查询规划 · 逻辑查询树
School of Data Science, Fudan University · College of Computer Science and Artificial Intelligence, Fudan University · United Automotive Electronic Systems
将探索性推理问题建模为逻辑查询树，通过动态规划与成本模型优化多步检索与推理
📌 工作参考价值（4 点）
- 电商搜索中，用户意图模糊的复杂查询（如“适合敏感肌的平价抗老面霜”）可借鉴PlanRAG的分解与重组逻辑：将原始查询拆分为原子子查询（如“敏感肌适用”、“抗老”、“平价”），通过成本模型决定检索顺序与合并方式，减少无效检索。
- 成本模型的多维评估（如相关性、覆盖度、语义连贯性）可直接迁移到推荐系统的多路召回融合阶段，替代简单加权，动态规划出最优融合计划。
- 树状执行结构与并行节点处理机制适用于Agent工作流：不同子任务可并行检索知识库，再逐步聚合生成最终答案，低延迟场景下可开启多线程加速。
- 动态改写中间结果（rewriting）的思路可用于对话式推荐：对中间检索到的商品列表进行总结与再查询，逐步精炼用户需求。
Gemma 4 多模态模型：高效推理与编码器自由架构
🧭 多模态 LLM 与推理效率优化 ★ 深度解读
Google DeepMind
开源密集与 MoE 多模态模型，集成思维链、长上下文压缩与量化，在多项基准上以小参数量匹配大模型
📌 工作参考价值（4 点）
- 长上下文 KV 缓存优化：采用 5:1 局部/全局注意力比、p‑RoPE 位置编码、键值重用 (keys as values)，全局 KV 缓存减少 37.5%，可直接用于推荐系统的长序列用户行为建模，降低推理显存。
- 量化感知训练 (QAT)：提供 int2/int4 混合权重量化版本，搭配 fp16 激活时块级缩放，大幅降低部署内存与延迟；特别适合电商中端侧部署的排序或生成式推荐模型。
- 多 Token 预测草稿头 (MTP)：轻量自回归头跨注意主模型 KV 缓存，支持任意草稿长度；可迁移到对话式搜索/推荐 Agent，加速多轮生成响应。
- 编码器自由多模态架构：12B 模型直接用线性投影处理原始音频和图像块，省去专用编码器，简化多模态融合管线；在商品图像+语音评价的场景可尝试单一 LLM 统一提取特征，降低工程复杂度。
何时修复图ANN索引：导航信号触发局部修复保护突发流失下的尾部召回
🧭 图ANN索引 · 导航信号触发局部修复
VaidhyaMegha Private Limited, India
用廉价探针召回信号触发图ANN局部修复，在固定预算下大幅提升尾部召回，避免盲目周期性修复
📌 工作参考价值（4 点）
- 在电商商品向量索引中，频繁上下架导致图索引退化，可用廉价探针查询的recall作为导航性退化信号，代替固定周期修复，节省算力且保护尾部查询质量。
- 信号触发修复策略在稀疏、脆弱的图（如低度图）上收益更大，可针对长尾商品或冷门类目的索引子图优先采用。
- 引入budget-matched评估协议：对比修复策略时必须控制修复总次数相等，避免单纯比较预算不对等产生的虚假优势。
- 工程实现上，可维护一组固定探针查询，定期计算其recall，当滑动窗口内的recall下降超过阈值时触发局部重连，无需全量重建索引。
IntentTune：利用用户需求与个性化解决电商搜索中模糊查询意图未知问题
🧭 个性化查询意图解析 ★ 深度解读
eBay Inc., USA
通过融合用户历史查询等行为信号，用LLM推断模糊查询的性别、年龄、尺寸等意图，显著优于仅用总体需求或静态画像
📌 工作参考价值（4 点）
- 意图推断模块设计：当基线意图模型输出 “unspecified” 时，路由到 LLM 进行个性化推断。可参考 IntentTune 架构，单独构建一个服务或模型，用近期高置信度用户查询（如性别置信度>0.8、年龄置信度>0.9）作为上下文，输出细化的性别、年龄、类目甚至尺寸意图，直接接入检索排序通路。
- 用户信号选择：历史查询行为远优于用户画像属性（如注册时填写的年龄、性别）和总体需求分布。实际系统中应优先利用短期搜索历史，提取其中意图明确的查询作为 prompting 素材，而不是依赖静态标签。
- 类目粒度优化：对于模糊查询，先将类目预测模型给出的候选类目列表提供给 LLM，让 LLM 根据用户历史行为选择或收缩正确类目，可有效减少下游检索的候选空间，同时保持正确性，类似 “后验类目精排” 思路。
- 冷启动与冲突处理：当历史查询不足时可回退到需求模式（利用类目预测模型最高置信度类目推断意图），但尺寸意图不适用此方法。多重信号冲突时，需要设计置信度投票或加权机制，避免直接采信单一来源。
基于工作流归纳的多轮智能体科学文献搜索
🧭 Agent 工作流生成 · 多轮搜索
University of Illinois Urbana-Champaign · Together AI · University of Pennsylvania · Stanford University
PaperPilot将多轮文献搜索构建为可执行、可编辑的DAG工作流，结合用户反馈实现高效可控的搜索对齐
📌 工作参考价值（4 点）
- 将搜索过程显式化为可编辑的DAG工作流（关键词搜索→引用扩展→过滤→重排序→证据提取），可为电商搜索/推荐Agent提供可解释、可调控的交互式搜索链路，便于开发者调试与用户定制。
- 利用用户反馈调整工作流结构（如增加查询扩展或调节评分权重）的思路，可迁移到电商多轮查询改写与召回路自适应，例如基于前一轮推荐结果的隐式反馈动态插入过滤或重排序模块。
- 训练采用监督工作流模仿（从人工工作流中学习）与偏好优化（对生成的工作流进行可控破坏并学习偏好）的组合方式，可借鉴到电商工具调用Agent的训练中，提升工作流生成的准确性和执行稳定性。
- 工作流执行错误率从9.5%降至0%，表明显式结构化调用比纯推理更可靠；在电商客服、导购助手等场景中，可设计类似的结构化操作链，降低非法操作风险，提升系统鲁棒性。
基于 LLM 聚类的实时硬负采样双塔召回
🧭 双塔召回 · 硬负采样 · LLM 聚类 ★ 深度解读
Meta
提出一种在线聚类的硬负采样框架，利用 LLM 生成 item 语义簇并实时抽取簇内 hard negative，显著提升召回并缓解流行度偏差
📌 工作参考价值（4 点）
- 用 LLM 离线生成 item 语义簇替代规则类别：电商/视频场景可构建多模态内容理解模型，产出 300 级粗粒度簇（簇内 item ≥ 10k），作为硬负采样的先验，比人工品类树更适应内容语义和用户兴趣迁移。
- 实时 OOB 池 + 哈希分桶采样：将 item 池按 cluster_id 分段维护，更新与采样均 O(1)，训练 QPS 损失仅 -1.4%，可直接嵌入现有双塔训练流，不需异步构建 ANN 索引。
- 簇内采样缓解反馈循环与流行度偏差：从与正样本同簇的 item 中抽取负样本，迫使模型学习细粒度区分能力，工业实验中 Top100 热门 item 曝光占比从 50% 降至 32%，长尾曝光桶（≥1k impressions）增加 50%，对去偏效果明显。
- 评估避免 k-core 过滤与采样指标：使用全量全局排序评估 HR@50/100，更反映冷启动与稀疏场景的真实效果，业务落地评估时可参考此严格设定。
基于 Trie 的 IR 管道实验计划：提升级联检索评估效率
🧭 IR 管道实验优化 · 计算重用
University of Glasgow
用 trie 数据结构规划级联 IR 管道比较实验，共享重复组件，实验时间减少 26%
📌 工作参考价值（4 点）
- 搜索/推荐管道离线评估中，当需要对比多个召回+排序变体时，可采用 trie 结构共享公共阶段（如相同召回结果复用），避免重复运行高成本模型，大幅减少实验耗时。
- 推荐使用类似 PyTerrier 的声明式管道框架，通过运算符组合变换器（transformers），自动识别并缓存可重用的中间结果，适合快速迭代实验。
- 在业务实验规模扩大时（如多路召回、多版本精排、多轮重排的排列组合），trie 实验计划能节省 20% 以上评估时间，可以直接落地到离线实验平台。
- 将实验计划的思想融入内部实验管理工具，让研究员只需声明管道变体，系统自动生成最优执行计划，降低重复计算成本，提升实验吞吐量。
决策感知的样本生成模型训练
🧭 决策感知生成模型训练
Tübingen AI Center, University of Tübingen · University of Augsburg
在能量得分中融入可微决策损失，使生成模型训练直接感知下游决策成本
📌 工作参考价值（4 点）
- 在供应链预测（销量/库存）中，可将缺货成本或过剩成本作为可微决策损失，与能量得分联合训练，提升关键分位数的预测精度，降低业务损失。
- 动态定价场景下，将利润损失函数嵌入生成式价格分布的优化目标，直接最小化预期决策成本，替代后处理决策优化。
- 工程实现时，需对非可微的业务损失进行平滑近似（如用SoftMax代替argmax），确保梯度可反向传播；可参考文中对决策损失可微化的设计。
- 该方法保持概率模型校准性，不仅输出点预测，还保留完整分布，适合风险敏感决策场景，如广告预算分配、促销门槛设定。
扩散生成式推理重排器 Diff-GR2：将自回归重排器加速 2.4-3.5 倍并维持精度
🧭 扩散模型加速推理重排器 ★ 深度解读
Meta AI · UNC Chapel Hill
通过转换微调、在线蒸馏与强化学习三阶段方法，将自回归推理重排器转为块扩散模型，在 Amazon Beauty 上获得 2.4-3.5 倍吞吐提升且精度几乎无损。
📌 工作参考价值（4 点）
- 将自回归推理重排器转换为块扩散解码器可大幅降低序列推理成本，适合高 QPS 场景；转换微调（CFT）能直接让模型学会输出合法排列，省去外部约束解码器。
- 使用在线策略蒸馏（OPD）在模型自产轨迹上由 AR 教师提供 token 级监督，可有效消除训练-推理分布不匹配，对任何生成式重排任务的 precision 恢复有直接借鉴意义。
- 在 OPD 之后接 RL 阶段（基于排名提升和格式奖励）能在几乎不增加额外推理成本的情况下进一步提升 top-1 与 top-3 指标，可作为电商重排线上迭代的标准管线。
- 块扩散的 KV cache 与预填充摊销机制使得长 prompt（如用户历史 + 候选集）的重排延迟更低，这一工程实践可直接迁移至 LLM 推荐系统的在线推理部署。