EvoOntology：面向数据 Agent 的自进化本体层
🧭 数据 Agent 自进化本体语义层
Renmin University of China
将本体封装为 MCP 三层服务，通过自进化循环持续优化，显著弥合数据 Agent 与异构数据间的理解鸿沟
📌 工作参考价值（4 点）
- 用 MCP server 而不是 prompt 注入语义层：把商品表结构、字段含义、口径说明拆成 schema/content/tool 三层，Agent 按需查询，避免 prompt 过长和上下文浪费，适合电商多数据源场景。
- 自动构建 + 自进化代替人工维护 ontology：用 builder agent 从已有查询日志和表结构自动生成本体，再通过 attribution-guided typed edits 持续修正字段语义，可迁移到广告投放数据、用户行为日志等语义层的自动化维护。
- backbone-conditional paired evaluation 保证编辑质量：只有在新 LLM backbone 上同时评估新旧本体且新本体胜出才接受编辑，避免单个模型偏好导致的退化，适合多模型混合部署的推荐系统语义层场景。
- 把专家知识变成 Agent 可调用的工具而非一次性文档：将规则、口径、映射关系封装为 tool layer，让 Agent 在运行时主动查询，对多业务线知识管理有直接复用价值。
反思、修订、复用：GUI Agent 的无训练技能演化
🧭 GUI Agent 技能演化 · 训练自由反思修订
Zhejiang University · UESTC
提出训练自由的 EvoSkill-GUI，将技能作为多文件包通过反思-修订-复用循环持续从执行反馈中改进，在三大 GUI 基准上最多提升 16.2%
📌 工作参考价值（4 点）
- 技能包多文件结构化：将 retrieval metadata、plans、backup localization、failure-recovery rules、failure cases 分文件管理，业务 Agent（如客服自动化、营销流程）可借鉴把关键过程知识模块化，方便局部更新，避免整体重写。
- 反思-修订-复用闭环：部署后从失败轨迹自动修订技能，不需重新训练模型；推荐/广告 Agent 可利用线上失败样本持续改进执行策略，提升动态环境鲁棒性。
- 即时 in-rollout 修订 + 隔离 critic：执行时遇到弹窗/页面变化可立刻根据备用定位和恢复规则调整；critic 在信息隔离下诊断避免被错误轨迹污染，对构建可靠自动化流程有参考。
- 训练自由，低成本迭代：无需 GPU 训练，仅依赖 LLM 推理与文件编辑，适合需要快速适应界面改版或流程变化的电商运营自动化场景。
Fathom：面向 offloaded KV cache 的按查询读取深度稀疏解码
🧭 LLM 稀疏注意力推理优化
按查询动态分配 bit 预算扫描量化 KV cache，在 offload 场景下减少带宽并加速解码
📌 工作参考价值（4 点）
- 如果业务中长上下文 LLM（如电商客服 Agent、浏览助手）的 KV cache 被 offload 到主机内存，top-k 扫描会成为解码瓶颈；Fathom 的按查询动态位预算可以直接用于减少跨 interconnect 的字节流量。
- 采用 4-bit K cache 按 channel-major 位平面存储，查询利用 reverse water-filling 在 variance-weighted channel importance 上分配读取位数，可以在相同 GPU 耗时下读更少字节、获得更低注意力误差，适合对延迟敏感且 buffer 在 host memory 的线上服务。
- 该方法在 RULER 任务上每个 token 扫描匹配 exact top-k，说明动态位分配不会牺牲 ranking 准确性，可安全替代固定位宽扫描（如 Double Sparsity、Loki、SparQ）以降低带宽成本。
- 注意：该方法仅在 KV 索引驻留主机内存时有效，GPU 常驻 cache 不需要；工程落地时需先判断索引位置，避免盲目引入。
HypoEvolve：遗传算法驱动多智能体LLM发现科学假设
🧭 多智能体遗传算法优化科学假设生成
University of California San Diego · Texas A&M University · Carnegie Mellon University · Mohamed bin Zayed University of Artificial Intelligence
用遗传算法协调多智能体LLM，通过种群迭代生成科学假设，在药物重定位评估中DepMap selectivity达0.171
📌 工作参考价值（4 点）
- 多智能体+遗传算法可迁移到广告文案、搜索query、商品描述的生成：把候选文案/query视为种群，多个agent分别负责生成、批判、修改，适应度函数使用CTR、转化率等线上/离线信号，而不仅靠LLM评分。
- 显式定义协作规则（选择、交叉、变异）可以分离模型能力与协作收益，便于A/B测试不同agent配置；在推荐系统中可固定生成模型，替换协作策略来验证多agent架构的实际价值。
- 评估设计借鉴外部证据：药物重定位用DepMap/Open Targets等外部数据，业务中可用用户行为日志、搜索点击日志、成交数据作为外部评估，避免仅用LLM judge或人工标注。
- 外部信号做适应度时注意选择偏差和泛化：论文验证了held-out癌症类型上的泛化，业务中可验证创意/query生成在未见过品类/场景上的表现，防止过拟合历史数据。
基于证据选择的 LLM 查询扩展：多改写器互补文档池与相关性筛选
🧭 LLM 查询扩展 · 证据选择 ★ 深度解读
Toronto Metropolitan University · University of Waterloo · University of Toronto
EviQE 将 LLM 查询扩展重构为文档证据选择问题，聚合多改写器检索结果并筛选后单轮生成，显著提升 TREC DL 与 BEIR 检索效果
📌 工作参考价值（4 点）
- 在电商搜索的 query 改写/扩展场景中，不要只依赖单一改写器或单一检索结果作为生成上下文。用多个改写器（如原始 query、LLM 直改、伪相关反馈、HyDE 等）并行召回文档，合并去重后作为候选池，再让 LLM judge 按与原始 query 的相关性打分选 top-B 篇作为生成 evidence，能显著提升改写 query 的召回质量。
- 证据选择比多轮迭代更划算：EviQE 一轮证据选择即可超过多轮 ThinkQE，且增加迭代会引入噪声。实际线上系统可把计算预算从多轮 RAG 改成“并行多路召回 + 一次性精筛 + 单轮生成”，降低延迟和成本。
- 用 LLM 做 relevance judge 时，建议采用 graded relevance（0-3）并固定 judge 模型，不要用简单的 agreement 或 RRF。论文中 LLM-Score 明显优于 frequency/RRF，且跨 generator 骨干稳定；在商品搜索中可复用类似打分来挑选高质量商品详情段落或用户评论作为改写证据。
- 候选池大小不必盲目扩大：4 个改写源（原始+CSQE+LameR+MuGI）已恢复大部分收益，增加到 11 个提升很小。实际部署可从少量高质量改写器开始。
经验驱动策略精化的自进化LLM交易智能体
🧭 Agent 自进化策略优化
KAIST · DeepAuto.ai
将Agent的system prompt视为文本参数化策略，由策略Agent基于决策轨迹和组合反馈迭代重写
📌 工作参考价值（3 点）
- 将Agent的system prompt / 工具调用策略当作可优化的“文本参数”，通过定期基于历史交互trace和业务反馈（如转化率、收益）让策略Agent重写prompt，无需微调LLM即可实现策略迭代。适用于搜索/推荐中的Agent决策流程优化。
- 借鉴其批量更新思想：在每轮更新间隔内收集决策动作和实际奖励，然后离线让策略Agent修订系统提示，再用于下一批决策。这样可形成闭环，尤其在非平稳的电商/广告环境中，定期调整信息获取和排序逻辑。
- 行为分析可作为诊断工具：通过比较旧/新策略下的动作分布（如工具调用类型、代码执行比例）和归因分析（策略改动→动作变动→回报变动），找出哪些流程调整真正有效，可迁移到推荐Agent的可解释性分析。
LazFormer：面向工业推荐的可迁移生成式预训练 Transformer 扩展
🧭 生成式预训练 + 排序 Transformer ★ 深度解读
Alibaba International Digital Commerce Group
用生成式预训练 + 残差适配器 + 非对称多 epoch 训练，实现工业推荐 Transformer 的参数与数据双扩展
📌 工作参考价值（4 点）
- 预训练与排序特征空间不一致时，用零初始化的残差适配器（类似 LoRA）注入排序特定特征，比直接拼接或额外投影更稳定，能避免稠密参数负迁移
- 长序列建模可保留最近 1k 细粒度 token + 更早历史按组求和池化；混合稀疏注意力中最近 128 个 token 设为全局 token，其余用滑动窗口，目标 item 只与历史交互且目标之间隔离，再逐层剪枝历史 token，可达到 92%+ 稀疏度和 5x 注意力加速，AUC 损失仅 0.1pt
- 多 epoch 训练时，每 epoch 把稀疏 embedding 重置回预训练状态、稠密参数持续累积，能避免稀疏过拟合，使数据规模扩展持续带来收益
- 同请求多个候选 item 共享一次用户历史序列编码，消除重复数据传输和编码开销，在线吞吐下降仅 12.1%，工程收益显著
Learning to Coach：训练 LLM 教练从轨迹中提取可操作经验
🧭 LLM 教练 · 经验学习与多智能体协作 ★ 深度解读
Microsoft Research · Tsinghua University
训练一个 LLM-as-a-Coach 用 GRPO 从冻结 actor 的轨迹中提取经验，以引导正确性为奖励，显著提升推理与交互游戏表现
📌 工作参考价值（4 点）
- 分离 actor 与 coach，避免主模型微调：在电商推荐/搜索 Agent 中，可保持主策略或大模型冻结，训练一个轻量 coach 从用户会话、行为轨迹、失败案例中提取可操作经验（如用户偏好摘要、失败原因、下一步策略），作为上下文注入主模型，既保留主模型通用能力，又降低全量微调成本。
- 用下游可验证指标直接训练 coach：将点击、转化、任务完成等可验证业务指标作为 reward，通过 GRPO 训练 coach 生成对特定 actor 更有用的经验。same-instance reward 用于纠错和保留问题细节，cross-instance reward 鼓励提取跨用户/跨品类/跨场景的通用规则，可借鉴到跨域推荐或策略迁移。
- 迭代式经验更新，算力用在刀刃上：让 coach 在多轮交互中不断更新并缩短经验笔记，逐步收敛到更精炼的指导信息，降低后续推理成本。论文证明将额外算力花在迭代 coach 引导上比单纯扩大 actor 解码预算更有效，这对于生成式推荐或 Agent 多步决策的推理优化有直接参考价值。
- OOD 迁移潜力：在可验证任务上训练的 coach 可迁移到较难推理、交互游戏、指令跟随等未见任务，说明这种“经验提取”能力具有一定通用性，可用于跨任务的知识蒸馏与复用。
量级幻象：重新思考推理密集型检索中的置信度
🧭 RAG 检索置信度与拒答优化
UNSW Sydney · University of Innsbruck
发现相似度分数大小在逻辑/时间推理查询中失效，提出零成本的分数分布信号可显著提升检索拒答 AUROC
📌 工作参考价值（4 点）
- 在电商/客服/广告的 RAG 场景中，不要用原始相似度分数阈值做检索拒答；直接计算 top-1 与 top-k 的 Score Gap（s1 - sk）或 LSMV（局部分数均值与方差），零成本替换 magnitude thresholding。
- 对于需要逻辑/时间约束的查询（如“价格低于500且评分4.5以上的红色连衣裙”），语义相似度分数会误导置信度判断，必须引入分数分布信号，否则拒答策略接近随机。
- 工程实现上，只需在召回后保留 top-k 的分数向量，在线计算 gap / variance，无需额外推理或模型加载；可先离线在 reasoning-intensive 查询集上验证 AUROC，再决定是否上线。
- 评估检索器或 RAG 流水线时，除了 recall/NDCG，建议加入基于分布信号的 abstention AUROC，尤其在逻辑、时间推理类查询上，能暴露 magnitude 指标的盲区。
LLM 品牌推荐的检索与排序评估框架
🧭 LLM 推荐评估 · 随机检索排序
Northwestern University · Boston University
提出基于重复采样的 BRP@k / MRR@k 框架，将 LLM 品牌推荐视为随机检索与排序过程
📌 工作参考价值（4 点）
- 在电商/广告场景用 LLM 直接推荐品牌或商品时，不要把单次输出当稳定排序；应做多次重复采样，用 BRP@k 和 MRR@k 估计品牌/商品出现概率与排名分布，避免误判模型偏好。
- 品类词泛 query 会系统性遗漏大量成熟品牌，且 LLM prominence 与传统销量/品牌热度关联有限，更贴近搜索热度、线上讨论声量等全域可见度信号；做 LLM 品牌曝光优化时，应重点运营搜索与内容生态，而不是只堆 GMV。
- 需求化 prompt 会显著改变品牌检索集合；如果想让某些品牌在 LLM 推荐中被召回，不要只依赖品类词，可以在 prompt 中植入用户目标、约束或差异化卖点，类似于 GEO 的 prompt 策略。
- 诊断 probe 可识别“条件可检索品牌”：品牌在泛 prompt 下不出现，但提供独特线索后能被召回。这可用于评估品牌语义关联是否被 LLM 学到，并指导品牌描述、属性标签和内容投放。
每种语言各用其 tokenizer：面向高效多语言 LLM 的模块化 tokenizer
🧭 多语言模块化 tokenizer 与高效训练
Kyutai · Sorbonne Université · CNRS · Univ. Grenoble Alpes · Grenoble INP
提出模块化多语言 tokenizer 与预训练策略，可按语言子集提取子词表并动态使用，降低内存并加速推理
📌 工作参考价值（4 点）
- 部署多语言 LLM 服务（国际化电商搜索、海外广告文案生成）时，可为高频语言子集抽取轻量 subtokenizer，只保留对应子词表，大幅缩小 embedding / output 矩阵，降低内存占用与推理延迟，尤其适合小模型或边缘场景。
- 模块化 tokenizer 思路可迁移到多领域/多场景文本：按业务类目、品牌、商品描述等定制子词表，训练或推理时动态激活子 vocab，减少大而全词表的冗余计算。
- 预训练中按 batch 采样 subtokenizer 并将预测限制在相关词汇子集，既能保持大词表覆盖，又能降低 softmax 开销；可参考用于多任务、多场景 LLM 的训练优化。
- 该方法本质是 tokenizer 与 embedding 层的基础优化，若你的业务使用 LLM 做生成式推荐或 QueryRec，且面临多语言、大词表成本问题，可借鉴其模块化设计；否则业务可借鉴点有限。
面向 LLM 助理的可验证社会推理评估框架
🧭 评估框架 · 多智能体模拟 · 社会推理
Google Research · Hebrew University · University of Cambridge
构建多智能体模拟框架 Fuse，用隐藏动机与用户中介生成可验证社会推理评估，揭示 LLM 对偏见框架的系统性敏感
📌 工作参考价值（4 点）
- 在对话式推荐或 Agent 客服场景中，可借鉴 Fuse 的多智能体模拟思路：让一个“用户代理”带着有偏/不完整信息咨询 LLM，同时隐藏真实意图作为 ground truth，低成本构建可验证的对话推理评估集，避免依赖昂贵人工标注。
- 论文发现 LLM 对用户偏置框架敏感，提示在电商导购/客服机器人中需警惕用户主观描述（如“我觉得这是假货”“这个商品很差”）引入的偏差，可在 prompt 中显式要求模型分离事实与用户评价，或引入多轮确认机制而非直接采信。
- “更长对话并不总是提高性能”的结论可迁移到对话策略：不要默认多轮追问一定好，应结合用户耐心和任务难度设置最大追问轮数，或训练模型只在关键信息缺失时提问。
- 评估中区分模型所需细节与人类所需细节的思路，可用于生成式推荐的评测：设计“信息效率”指标，衡量模型在最少用户输入下能否正确推理偏好，而不仅是最终准确率。
平衡试新与复购：按需配送场景的混合序列Transformer-GBDT排序器
🧭 排序模型 · 序列推荐 · 混合架构
Wolt (DoorDash, Inc.)
生产级统一排序器UVR结合双向Transformer序列编码与GBDT，通过标签平滑和试新偏置采样提升商家试新率
📌 工作参考价值（4 点）
- 混合架构值得借鉴：用双向 Transformer encoder 学习用户序列并输出 embedding，作为特征输入 GBDT ranker，兼顾序列建模能力与 GBDT 对表格特征、业务规则（局部配送约束）的处理便利性，适合需要快速迭代和可解释性的工业排序场景。
- 试新/复购权衡的调参 trick：通过 trial-biased sample weighting（提高试新样本权重）和 label smoothing 引导模型推荐新商家，同时离线监控 reorder MRR 的退化，在线用融合指标 Global CVR 兜底，可在电商新品冷启动或类目探索中复用。
- 跨域统一排序模型：将餐厅和零售四个独立模型合并为一个 UVR，共享用户序列表示，不仅提升试新率还简化 serving stack，减少多模型维护成本，适合多业务线推荐系统整合。
- 离线/在线指标拆分：离线分别评估 trial MRR 和 reorder MRR，发现试新提升伴随复购下降，但在线核心指标稳定；建议业务中定义融合指标并分层监控，避免单一离线指标误导。
QueryRoute：查询改写选择的标准化评测基准
🧭 查询改写选择 / Query Routing 基准 ★ 深度解读
Toronto Metropolitan University · University of California, Berkeley · University of Waterloo · Mila - Quebec AI Institute · University of Toronto
冻结查询改写候选池与检索结果，系统评估改写选择器在跨检索器/领域下的上限与差距
📌 工作参考价值（4 点）
- 线上如果有多个查询改写/扩展策略（LLM prompt 变体、伪文档、关键词扩展），不要只按平均 A/B 选一个固定策略；应按 query 路由，且先离线构建候选池 + 各改写召回结果，复用 QueryRoute 的 action–outcome matrix 思路，把路由评估变成只读决策问题。
- LLM-as-judge 在 BM25 稀疏检索上最强，但在 BGE/SPLADE 等更强检索器下，没有任何学习型 selector 超过固定最优改写；说明稠密检索已经吃掉改写收益时，业务应优先投入检索器质量或相关性精排，而不是改写路由。
- 评估 selector 时，均值 nDCG 会掩盖 query 级路由行为；建议同时加 near-oracle rate、help/hurt rate、regret、selection entropy 等决策质量指标，否则两个均值接近的方法可能一个靠少数 query 拉高、另一个稳定性更好。
- 工程实现可参考：离线落 query 原词、候选改写、多 retriever 召回列表和 retrieval score；用 QPP/embedding similarity router 做低成本冷启动，LLM-as-judge 做高成本兜底，按 retriever 类型分别评估。
RESKILL：交互式语言 Agent 的显式失败归因与结构化修复
🧭 Agent 技能失败归因与结构化修复
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
提出 RESKILL，通过显式失败归因、覆盖度归因选择局部技能补丁及重测条件更新，显著提升交互式语言 Agent 的修复效果
📌 工作参考价值（4 点）
- 在电商推荐/广告策略 Agent 中，用「覆盖度归因」替代全量重写：失败后仅对覆盖失败解释的局部技能或提示词打补丁，避免影响无关行为，降低回归风险。
- 显式维护修复状态（repair state）：记录失败假设、候选补丁、重测结果，使迭代修复可追溯；可将此数据结构纳入线上推荐 Agent 的调优流程，便于人工审核与回滚。
- 将「重测失败」也作为后续修复的输入：不丢弃不成功的 retest，而是用它更新活跃失败解释，让模型在下一轮聚焦未解决问题；适用于多轮策略搜索、query 改写、工具调用等需要反复试错的场景。
- 把 LLM 生成的修复因子结构化（如 JSON 字段：failure_hypothesis, patch, coverage），由程序控制选择与更新，而不是依赖一次性的自然语言 reflection；工程实现上可复制此模式，提升修复的稳定性和可复用性。