τ-Rec-Books：控制需求披露的智能推荐系统需求诱导基准
🧭 Agentic RecSys 评测 · 需求诱导 ★ 深度解读
Independent Researcher · Princeton University
提出控制需求披露时机的书籍推荐评测基准，揭示隐藏需求下智能体成功率从 0.975 跌至 0.283
📌 工作参考价值（4 点）
- 在电商对话推荐 Agent 中，应内置“先问全字段再推荐”的 check：mixed 失败几乎都因不主动询问，显式要求 ask 能让所有模型 mixed 成功率从最低 0.419 拉到 ≥0.931。可在 prompt 或状态机里把关键硬约束字段逐一询问后再进入检索。
- 对隐藏偏好/未说需求，不要只把 reject 当失败信号；维护一个“可能隐藏约束”集合，被拒绝商品满足的候选约束都删掉，优先推荐覆盖剩余约束最多的候选。该 eliminating 策略在 hidden 任务上是 0.956 vs 0.622，远超 popularity。
- 给 Agent 的工具接口优先做结构化过滤（类目、品牌、价格区间、格式等），而不是只给 top-k 关键词搜索；硬约束场景下 structured search 平均 +7.1 分，且目录变大时几乎不掉点。
- 用规则化用户 + 目录元数据校验可低成本复现 disclosure-controlled 评测，无需 LLM judge；在 prompt 或版本迭代时，可先跑这种可验证 benchmark 再上人类评估，特别关注 hidden NVR 的弃权与 untested recommendation 比例。
通过隐式品牌注入刻画对抗性生成引擎优化
🧭 生成式搜索对抗攻击 · 隐式品牌注入 ★ 深度解读
Indian Institute of Science · University of Illinois Urbana-Champaign
提出多代理框架IBI，通过单句隐式品牌注入提升生成式搜索中的品牌可见度，并构建IBIBench基准
📌 工作参考价值（4 点）
- 多代理分工实现最小扰动内容注入：IBI将插入任务拆分为位置规划、句子重写、验证和选择四个子任务，每个代理只负责一部分约束，最终通过确定性校验保证单句修改和品牌出现一次。这套流程可直接迁移到电商商品描述优化、广告文案嵌入或UGC内容改造，确保语义保持和自然度。
- 合成品牌+受控RAG管道评估攻击：使用不存在的品牌避免模型先验偏差，固定文章-品牌配对，严格控制检索和生成参数，这种评估范式可用于在自家系统中测试内容操纵对搜索结果或推荐的影响，提前暴露风险。
- 单一非促销提及即可显著影响生成式搜索：实验显示仅一句话的品牌提及在文章条件查询下Hit@10可达82.2%，下游品牌提及率最高62.7%。这提醒平台需警惕第三方内容中的隐性品牌植入，防御上可考虑来源隔离、多源佐证或对陌生实体降权。
- 区分检索暴露与下游传播的度量体系：论文提出Hit@k、MRR、BMR、BRR和条件传播CP等指标，将攻击效果分解为检索阶段和生成阶段，便于定位瓶颈。从业者可借鉴该分解思路，对生成式推荐链路进行分层监控和优化。
TradeWar：执行落地贸易谈判基准与自适应 LLM Agent
🧭 LLM 多智能体自适应谈判与执行反馈
College of Computer Science, Beijing Information Science and Technology University
提出执行导向的多国贸易谈判基准 TradeWar 和自适应智能体 TACTIC，用结算结果驱动跨轮策略优化
📌 工作参考价值（4 点）
- 谈判类 Agent 不能只看 agreement rate：业务上应定义“执行后收益”指标（如 EHI），把对话策略与最终结算、履约结果绑定，避免高成交低价值。电商价格谈判、广告位协商、供应链协同都能复用。
- TACTIC 不更新 LLM 权重，靠跨 episode 经验、对手建模和结算反馈形成策略迭代闭环。工程上可用外部 memory / replay buffer 沉淀历史会话与成交结果，在 prompt 中注入 refined strategy，成本低且可控。
- 交互记忆 + CoT 并不足够应对延迟执行反馈；推荐系统中曝光→点击→转化同样是延迟反馈，建议把多轮交互后的实际结果作为显式状态纳入策略更新，而不是只积累对话文本。
- 论文通过 technology-controls 和 energy-crisis 冲击测试鲁棒性，说明构建环境模拟器并加入外部 shock 训练，能提升 Agent 面对政策、流量或供给突变的韧性，适合电商大促、广告库存异常等场景。
Gym-Anything for Robotics：用编码智能体规模化物理仿真
🧭 编码智能体自动生成仿真与基准
Carnegie Mellon University
让编码智能体自动创建机器人仿真环境，构建 RoboWorld 基准并利用特权教师等方法提升前沿模型在 RL 任务上的表现
📌 工作参考价值（4 点）
- 借鉴“creation-audit loop”自动生成与校验训练环境：在电商搜索推荐中，可用 LLM Agent 批量生成模拟用户行为序列、查询、商品集合，并用另一个 Agent 对抗式审核其真实性与难度，替代手工构造离线评估集。
- 利用 GDP/价值导向的任务选择思路：优先覆盖高频、高价值业务场景（如高转化 query、高 GMV 类目），让生成的环境更贴近线上收益目标。
- 引入 privileged teacher 机制：训练推荐或对话 Agent 时，可让模型在训练阶段访问真实用户意图/隐反馈作为“特权教师”，在上下文中指导学生策略，提升对稀疏反馈的利用效率。
- 用 code policies 生成跨场景演示数据：在生成式推荐或 Agent 决策中，编写代码策略自动产出不同场景下的示范轨迹，用于蒸馏 VLA 型模型，降低人工标注成本。
HALO：面向主动式智能体的人类细粒度评估
🧭 主动式Agent评估与人类诊断
University of California, Davis · 2077AI · University of Southern California
提出HALO-Arena与HALO-8K，以人类细粒度诊断评估主动Agent是否、何时、多大程度干预，发现过度主动占拒绝主因
📌 工作参考价值（4 点）
- 做主动推荐/push/智能客服时，别只看点击或二分类接受率；可仿照 HALO 把拒绝原因细拆为 timing（过早/过晚）和 intensity（过度/不足），重点监控 Premature+Excessive 的比例，因为该研究发现 61.20% 拒绝来自过度主动。
- 在 Agent 介入前，先强制做证据检索：区分 structured DB 与 unstructured docs，记录 retrieval rounds；这能帮助判断是否已有足够信息，避免仅凭当前上下文过早干预。
- 设计决策时显式建模 action level / scope，而不是单一动作；允许系统选择“保持沉默/仅提醒/部分代劳/完全代劳”，配合人类诊断校准阈值。
- 可借鉴 4 类主动需求分类（Dependency, Blockage, Risk, Opportunity）为推荐/营销触发场景做需求建模，例如缺货补货提醒（Blockage）、价格风险（Risk）、关联购买（Opportunity）。
需求交互时：通过相互依赖规格扩展长程编码
🧭 编码代理 · 规格合成与强化学习
LLM Core, Xiaomi · Peking University · University of Hong Kong
CodeSpecWeave 合成带相互依赖规格的任务并用 RL 训练编码代理，显著提升长程开发表现
📌 工作参考价值（4 点）
- 任务设计上，可构造具有相互依赖约束的合成任务（例如同时满足相关性、多样性、商业指标约束），迫使模型进行联合推理，避免退化为简单清单，提升生成式推荐或 query 推荐策略的鲁棒性。
- 数据质量保障上，借鉴 review agent 审计多条 solution trajectories 的做法：在离线样本生成或评估中，用多个模型交叉验证候选输出的合理性和正确性，过滤隐藏缺陷或误判，提高训练数据可靠性。
- 训练范式上，在仿真环境或历史日志中合成带多目标约束的任务，用强化学习优化策略模型，使其在复杂业务约束下（如用户体验与商业收入平衡）学习长期收益。
- 评估体系上，构建包含多维规格的基准，揭示模型在处理相互依赖约束时的能力边界，指导针对性迭代。
AskStream：流式视频理解不确定性下何时与如何主动提问
🧭 多模态流式视频主动交互智能体
Institute of Automation, Chinese Academy of Sciences · Beijing Academy of Artificial Intelligence · Hunan Normal University · Minzu University of China
引入主动 ask 动作的流式视频理解基准，评估模型在视频与用户不确定性下的提问与回答策略
📌 工作参考价值（4 点）
- 在电商直播、视频客服等流式交互场景中，可把 Agent 的动作空间从 wait/answer 扩展为 wait/ask/answer：当模型对用户意图或视频内容置信度低时，主动发起澄清问题，避免停止等待或生成幻觉答案。
- 参考 AskStream 的帧级时间窗标注，把“何时提问”建模为序列决策问题；在真实流式视频数据上标注每一帧或每一时间窗应执行 wait/ask/answer，用于训练主动交互策略。
- 设计类似 Ask-F1 的评估指标，同时考虑回答质量、提问代价与等待收益，而不只看最终答案准确率；在推荐/广告交互中可迁移为“澄清问题的性价比”，平衡打扰率与信息增益。
- 落地成本提示：该基准集中于视频理解，工业界需先构建领域内不确定性标注，但可复用其问题定义与评测框架来低成本启动。
投资者的最后考试：AI智能体能否在未见未来时做股权投资？
🧭 金融 Agent 评估 · 证据-假设-判断链
Prophetlab · RethinkLab · Antai College of Economics and Management, SJTU · USTC · Foresight Fund
提出 ILE 股权投资基准，用冻结信息集与财务依赖图评估 AI 代理研究、预测与投资表现
📌 工作参考价值（4 点）
- 构建版本化、时间戳严格的信息库，避免未来信息泄漏；电商/推荐系统离线评估可借鉴此思路，在实时推荐、召回排序评估时按行为前特征快照严格取数。
- 将评估单元从单一指标扩展到“证据—假设—判断”链，利用财务依赖图定位失败环节（检索、计算、假设、决策），适合对搜索推荐 Agent 做可解释性归因与短板诊断。
- 专家定义任务分类与评分依赖图，拆解复杂 Agent 能力，可以迁移到电商 Agent 工作流：把任务分解为类目、证据来源、计算步骤，定位“研究强但预测弱”的瓶颈。
- 采用冻结信息集 + 模拟业务绩效（如投资回报）联合评估，对推荐系统 Agent 的线上效果预估与离线仿真有借鉴价值，能同时衡量过程质量和结果收益。
多模态协同编码 Agent 评估基准 Co-Design Bench
🧭 多模态 Agent 编码评估基准
Fudan University · Alibaba Token Hub, Alibaba Group · Zhejiang University · The Chinese University of Hong Kong · Shanghai Jiao Tong University
构建参考无关的多模态协同编码基准 Co-Design Bench，评估 10 个模型端点，最强模型完全满足率仅 26.4%
📌 工作参考价值（4 点）
- 细粒度评估指标：借鉴 judge-then-refute 协议，对 Agent 输出先设置多个可检查的验收标准（如 UI 元素、交互逻辑、功能正确性），再用独立 LLM 挑战正面判断，减少评判幻觉。电商搜索推荐 Agent 可用类似方式评估生成式推荐解释、多模态商品描述改写等任务。
- 真实用户任务挖掘：从真实用户会话日志中清洗、去重、规范化请求来构建评测集，能更贴近线上分布，优于纯人工合成任务。推荐系统可复用此流程构建 Query 改写、会话式推荐的离线评估集。
- 区分部分满足与完全满足：不只报告平均分，还要统计完全满足所有标准（全对）的任务比例，以暴露 Agent 在多约束复杂任务中的短板。这适用于多步骤推荐 Agent（如跨意图理解、多轮交互、最终生成商品卡片）的评估。
- 多模态输入的融合测试：在编码任务中加入图像、音频、文档等多模态输入，能考察 Grounded Understanding 能力。电商场景中，商品图+文本描述+用户语音的多模态 Query 理解可以直接借鉴此类任务设计。
AdShot：面向视频广告剪辑的多模态大模型评测基准
🧭 多模态大模型评测 · 广告剪辑
Northeastern University · Southern Methodist University
推出 AdShot 基准：823 对广告镜头选择评测，发现架构优先于规模且模型有内容偏好
📌 工作参考价值（4 点）
- 在电商商品视频多时长自动剪辑中，把镜头选择建模为受时长预算约束的子集选择，而非让 MLLM 直接输出完整 15s 连续片；AdShot 显示模型原始输出平均时长误差 5.39s，工程上必须加显式约束（DP/贪心 + 镜头时长表）。
- 选型时不要迷信 72B 大模型；该基准中架构比规模更关键，小模型常追平或超过大模型。业务落地可优先评测 7B–13B 视频 MLLM，成本更低且可私有化部署。
- 评估/微调需要显式覆盖 action、emotion、information、imagery 四类内容；模型系统性偏好 information/emotion 镜头，会漏掉 action 和 imagery，电商广告中动作展示、产品外观镜头可能需要通过 prompt、奖励或后处理加权校正。
- 若构建类似自动剪辑系统，建议加入音频声道：音频消融提示纯视频模型缺乏口播/音乐信息，商品口播、卖点音频对剪辑相关性高，评测时应纳入音频模态。
CRM-Agent-Bench：企业有状态环境中工具型Agent评测基准
🧭 企业级Agent执行与合规评测
Salesforce, Inc.
用可执行合同严格评估多轮CRM任务中Agent的动作、状态与合规性，揭示说与做的差距
📌 工作参考价值（4 点）
- 构建内部Agent评测时，不要只看最终答案，可借鉴 executable contract 思路：将业务规则拆成对动作、参数、顺序、响应、目标状态、受保护状态的检查，合成严格成功条件，自动化回归。
- 在电商/推荐场景的Agent（如客服助手、营销文案生成、推荐解释）中，可定义受保护状态（如用户隐私字段、价格锁定、优惠券余额），确保Agent不会越权修改，直接复用其中的 protected state 检查。
- 评估指标必须包含 latency 和 cost，论文中领先系统虽然成功率接近，但成本和领域可靠性差异很大；业务落地前要做成本/稳定性分域分析，避免只按总体准确率选型。
- 给任务打能力标签（工具选择、多步推理、规则遵守等），用于快速定位失败模式，指导后续 prompt 优化、模型微调或工具设计。
个性化查询基准：评估检索对用户表达差异的鲁棒性
🧭 个性化检索鲁棒性评测基准
Monash University · University of Queensland · Southeast University
构建首个个性化查询表达差异基准 PQB，揭示检索效果高不等于对句法与书写错误鲁棒
📌 工作参考价值（4 点）
- 构建用户表达差异测试集：从真实用户历史文本中挖掘个性化句法习惯和常见书写错误，生成同一信息需求的多版本 query，用于评估检索/排序模型在真实用户表达波动下的稳定性。
- 评估模型鲁棒性与效果分离：不要只看整体 nDCG/MRR，需单独报告模型对句法变化和拼写错误变化的敏感度；高效果模型可能对用户表达变化更脆弱，在电商搜索中直接导致长尾用户流失。
- 用 LLM 生成 query 变体 + 人工校验：可用 LLM 基于用户历史文本生成个性化句法改写和拼写错误变体，再用 LLM 评估与少量人工标注做质量校验，低成本构造大规模鲁棒性测试集。
- 检索架构选择参考：论文覆盖 lexical、learned sparse、dense bi-encoder、late-interaction、hybrid 五类检索架构，其鲁棒性差异可作为电商搜索技术选型的参考——需根据业务对用户输入噪声的容忍度选择合适架构。
UserArena：长程购物 Agent 交互式用户模拟基准
🧭 用户模拟器 · 长程购物 Agent 基准 ★ 深度解读
Leiden University · Renmin University of China · Alibaba Group · Institute of Computing Technology, Chinese Academy of Sciences
构建真实电商长程交互基准与五级评估协议，并提出 on-policy trajectory distillation 提升用户模拟器保真度
📌 工作参考价值（4 点）
- 借鉴五级评估协议（L0-L4）构建业务用户模拟器验收流程：从动作解析有效率、下一步行为准确率、到序列分布和群体分层保真，最后对比策略 A/B 效果；尤其关注不平衡动作（如滚动占38%）用宏观 F1 而非微平均。
- OPTD 的训练策略可迁移到序列决策模型的离线训练：用 trajectory-level intent 作为 teacher 的 privileged context，在 student 自己的 rollout 上做 token-level 蒸馏（JSD），并用 trust region 限制意图影响，可减少 exposure bias 和稀疏监督，提升长程一致性。
- 建立模拟器-线上校准闭环：将相同策略对在模拟器中对比效果，与生产 A/B 效果比较（如 effect ratio 和 error），确保模拟器结论可指导业务决策；OPTD 达到 0.713× effect ratio，远好于通用大模型。
- 数据层面：整合用户跨会话长期行为（平均 10+ 会话）来训练和评估模拟器，比单会话更能揭示行为惯性；可结合用户属性、视觉上下文、完整动作空间来提升模拟器保真度。
面向视频深度研究报告的 Agent 基准与评测框架
🧭 Agent 评测 · 视频深度研究报告
Peking University · Alibaba Token Hub, Alibaba Group
构建首个以源视频为中心的深度研究 Agent 基准 OmniDR-Bench，并提出原子化 Rubric 树评测方法
📌 工作参考价值（4 点）
- 可将 Omni-ARTs 的原子化 rubric 树和 ARC 构建流程复用到电商视频内容评测（如商品讲解、直播回放、教程视频），对 Agent 生成的卖点摘要做逐条可验证打分，替代模糊的 LLM-as-judge。
- skill-based workflow 提供可插拔结构，适合在商品视频导购/答疑 Agent 中按“问题拆解 → 多模态证据检索 → 交互式报告/回答卡片”组织 pipeline，尤其要求输出带时间戳引用，直接匹配短视频带货场景的卖点溯源。
- 当前 Agent 在跨模态因果推理和引用准确性上仍是明显短板，业务上做视频问答或报告生成时，应增加对引用证据的强校验层（检索片段强制回挂时间戳并二次校验），避免 LLM 幻觉影响用户决策。
- 中英文双语任务与 19 个真实子类别设计可参考，用于构建电商垂直领域的视频 Agent 回归集，覆盖不同品类和问题类型。
双考：多模态智能体与世界模型的受控评估
🧭 多模态 Agent 与世界模型评估
香港科技大学 · 新加坡国立大学 · 香港理工大学 · 东京大学 · 卡内基梅隆大学
提出 Dual Exam 框架，分别评估多模态 Agent 与世界模型，发现两者任务表现不均且耦合成功率低
📌 工作参考价值（4 点）
- 将 Agent 的动作选择与状态演化分开评估：在电商对话推荐、广告策略自动出价等场景中，先用固定环境响应测 Agent 决策，再固定动作序列测 World Model 预测，可解耦定位问题。
- 构建任务相关状态保持的专项 check：论文揭示 Agent 常丢失任务相关状态，实际推荐/搜索多轮对话中可加入状态保持测试用例，防止遗忘用户偏好、已选商品等关键上下文。
- 对于用 World Model 模拟用户反馈/市场响应的团队，需独立验证其 action-conditioned 预测准确率，不能仅靠端到端耦合成功率；150 例耦合实验零成功说明耦合评估会掩盖组件缺陷。
- 评测集设计采用“固定环境响应/固定动作干预”对照，可迁移到线上 Agent 评测系统，区分策略错误和模型预测错误，降低归因成本。
推理-搜索增强大语言模型：操作化分类、基准分析与受控证据综合
🧭 Agent 化推理-搜索增强 LLM 架构分类
Texas A&M University, College Station, TX, USA · Texas A&M University–Corpus Christi, Corpus Christi, TX, USA
提出四架构轴+学习信号分类框架，系统梳理推理-搜索Agent设计与消融证据
📌 工作参考价值（4 点）
- 构建电商搜索/客服 Agent 时，把检索从一次性 RAG 上下文改成迭代循环中的动作：显式维护 plan→query→retrieve→verify→stop 状态机，可显著减少无依据答案；在商品知识库、用户评论等多源检索时，按 grounding strictness 分级校验（如硬性要求引用来源 vs 仅启发式）。
- 训练搜索策略时优先用偏好优化或 RL 而非仅 prompt：同一架构下学习信号会显著改变搜索时机、停止条件和最终答案的 groundedness，业务数据允许时直接建模质量-成本 tradeoff。
- 做离线评估不要跨论文直接比较 SOTA：不同 backbone、retriever、corpus 协议不可混用，应关注 controlled within-study ablation；同时把 benchmark 难度与 RSA-loop 需求分开统计，避免简单题目屏蔽搜索行为差异。
- 将检索耦合、控制器、知识源、grounding strictness 作为显式设计维度，便于在电商场景中快速替换组件（如从向量库切到商品图谱）并定位性能瓶颈。
自主研究代理的完整性保障：自动检测与运行时干预框架 RIDAR
🧭 Agent 行为审计与运行时纠偏
Tsinghua University · Renmin University of China · Zhipu AI
提出研究完整性违规分类法与 RIDAR 框架，离线检测 F1 85.2%，运行时干预减少违规 36.8%
📌 工作参考价值（4 点）
- 可借鉴 RIDAR 的“离线检测 + 运行时干预”双层架构，对电商 Agent 的推荐文案生成、客服自动回复、选品/定价策略等轨迹做合规审计，实时拦截违规内容（如虚假宣传、价格欺诈、敏感词）。
- 借鉴 RIVT 的细粒度违规分类法，定义电商 Agent 自身的违规类型（如商品描述夸大、使用禁投词、泄露用户隐私等），构建 domain-specific 的检测 taxonomy 和评测集。
- 采用运行时干预的思路：检测到违规步骤时，通过重写动作或注入约束条件来纠偏，而不是仅 post-hoc 审计，可减少任务结束时残留问题，提升最终交付质量。
- 其评估方法可复用：用专家标注的小基准 + 大规模无标注轨迹结合，先测检测器再分析真实分布，作为业务 agent 质量监控的模板。
DeclineCraft：联合衡量检索与参数知识的 RAG 弃答基准
🧭 RAG 弃答能力基准与行为分析
Purdue University
提出 DeclineCraft 基准，度量模型在检索与参数知识均不足时正确弃答的能力，揭示迭代 RAG 等增强策略反而降低弃答率。
📌 工作参考价值（4 点）
- 在电商客服/商品咨询等 RAG 场景中，不要盲目堆叠迭代检索、query rewriting、reranking 等“增强”组件：它们可能让模型对无法回答的问题过度自信，降低正确弃答率。对高频未知问题（如新商品属性、未收录政策），应显式加入弃答判定或置信度阈值。
- 单轮检索已能提升正确弃答率（38/40 配置），说明即使检索不到确切答案，提供相关但不完整的上下文也能帮助模型识别知识缺口，而非直接依赖参数记忆编造。在知识截止后新商品/新政策问答中，可先检索同类商品/旧政策作为参照。
- 思考模式（thinking）会显著降低弃答率，但常从“承认不确定”转为“否定前提”，这对安全敏感场景是隐患。实际部署时不宜只用 CoT 自我评估，应设置独立的 abstention 分类器或规则。
- 模型规模与弃答率无显著关联，只与作答准确率正相关。因此不能指望换更大模型解决拒答问题，需针对弃答行为做专门训练或 prompt 设计。
OptionWorld：诊断 LLM 长期个人助手失败环节的基准
🧭 Agent 长期任务失败诊断基准 ★ 深度解读
University of British Columbia · University of Chicago · Independent Researcher · Princeton University
提出 OptionWorld 基准，追踪从信息获取到行动结果的完整链路，定位 LLM 长期助手跨天任务失败环节
📌 工作参考价值（4 点）
- 在构建长期 Agent（如电商售后助手、广告投放优化助手）时，应显式维护“未完成任务清单”，为每个任务记录已获取事实、下一步行动、截止时间和阻塞条件，而非仅依赖对话记忆。可借鉴论文中的 Task State 概念，将“已获取事实”与“已执行干预”分开跟踪。
- 失败分析显示 Agent 常将临时障碍（如等待某条记录）误当作永久限制，导致自我设限而停止行动。可在系统层面加入定期校验机制：对等待条件设置有效期，过期自动重试或升级，避免 Agent 永久等待。
- 提示词或工具设计中明确区分“允许询问”和“允许承诺/执行”，避免 Agent 因权限边界不清而放弃可采取的行动。可参考论文的权限说明纠正实验：仅澄清“禁止联系”是指禁止最终承诺而非禁止询问，即可恢复正确行为。
- 对于长期任务，采用 checkpoint 回放和最小干预（补充事实、行动提醒、权限澄清）进行诊断，帮助定位失败发生在信息获取、判断还是行动环节，从而针对性优化 prompt 或 memory 结构，而不是盲目增加上下文长度。
面向企业零售异构数据工作流的Agentic RAG评估基准与框架
🧭 Agentic RAG · 多源异构零售问答评测 ★ 深度解读
KAIST · Cluvion · GS Retail
提出RetailBridge多源零售QA基准与RetailRAG框架，定位跨源链式为瓶颈
📌 工作参考价值（4 点）
- 在电商 Text-to-SQL / 数据分析 Agent 中，先构建并注入 auto-schema briefing：包括列类型与示例值、类别枚举、跨表 join 键、派生指标公式，可提升 planner 路由和 SQL 生成准确率。
- 采用 source-routed plan chaining：对复杂查询一次性生成显式依赖链，支持 SQL→文本→SQL 的中间结果传递；简单查询走快速通道，控制 API 调用成本。
- 失败恢复用 diagnostic plan revision：只定位并局部修正失败步骤，保留已完成步骤，避免整体 replan；把失败类型划分为 schema mismatch、filter 过严等，可显著降低 token 消耗并提高成功率。
- 构建内部评测集可借鉴 RetailBridge 的合成管线：用 persona 仿真生成订单/评论/客服交互数据，再用 entity-linked/answer-linked 算子递归组合出多跳查询，按推理深度、跨源数和证据模态分层，便于诊断 agent 短板。
真实 Web 深度搜索基准 OpenDS-World
🧭 真实 Web 深度搜索 Agent 基准评测 ★ 深度解读
HKUST(GZ) · Fudan University · University of Washington · Imperial College London · Nanyang Technological University
提出 OpenDS 任务与 200 题基准，12 个前沿模型最好仅 39.0% 准确率，人类 21.1%
📌 工作参考价值（4 点）
- 评估搜索/Agent 时把成本维度纳入主指标：同时记录 tool calls、wall-clock、tool failure 占比与 budget exhaustion，能发现“高消耗低收益”的执行模式；可在电商搜索 Agent 评测中复刻这套成本与终止分析。
- 业务证据获取往往跨格式（HTML/PDF/视频/结构化数据）和交互操作，不应只测最终答案；可把“证据获取路径”作为任务设计的一部分，考察 agent 能否完成筛选、时间索引、API 查询等子步骤。
- 更多调用和更长耗时不一定带来更高准确率，线上 Agent 应设置预算与早停，并监控低产出轨迹；例如限制搜索步数、对连续失败切换 tool 或终止当前链路。
- LLM-as-judge 可用较小模型做语义等价判定，但难以暴露中间证据链错误；建议在关键步骤加入 intermediate verification 或 checkpoints。
GatewayBench：MCP 网关能力与安全统一评测平台
🧭 Agent 基础设施评估基准
Tsinghua University · University of Chicago · University of Illinois Urbana-Champaign
首个 MCP 网关统一评测基准，量化扁平与层级网关在任务完成、效率与攻击韧性上的差异
📌 工作参考价值（4 点）
- 在电商/广告 Agent 场景中，若需接入大量工具（商品搜索、订单、营销、报表等），优先采用层级式 MCP 网关，通过工具发现 meta-tool 按需检索，避免将所有工具 schema 塞入 context，降低 token 消耗并提升任务完成率。
- 评测自有 Agent 工具调用时，可借鉴 GatewayBench 注入大量无关工具，模拟真实大规模工具面，观察模型在干扰下的选择能力；工具池尽量用真实业务工具而非合成样本。
- 安全侧：层级网关并非天然安全，需在工具发现层增加权限过滤、来源验证与工具描述审查，防止恶意工具通过检索被暴露给 agent。
- GatewayBench 提供统一任务和可验证 judge 的评测框架，可直接复用其任务构建思路，为内部 MCP 网关选型和迭代建立可量化的回归测试。
超越下游问答：重新思考如何评估 Agent 记忆
🧭 Agent 记忆评估 · 内在指标 ★ 深度解读
Amazon Web Services · Technical University of Cluj-Napoca
提出 FEB-30 事实演化基准与内在评估方法，证明仅靠 QA 评估会掩盖记忆存储层故障
📌 工作参考价值（4 点）
- 在构建 Agent 长期记忆或用户/商品画像记忆时，不要只用端到端任务指标（如下游推荐/回答准确率）评估记忆模块；应定期对比存储的 profile、事件状态与 ground truth，计算 claim coverage、更新检测召回、误更新率，定位是抽取、合成还是检索瓶颈。
- 可借鉴 paradigm inversion：用多模型轮换和 judge 校验生成带 ground truth 的时序事实轨迹（如用户兴趣演变、商品属性变更、库存/价格状态变化），低成本构建 memory 回归测试集。
- 注意记忆写路径的操作分类质量：论文代表性系统 revise 操作仅 20% 分类正确、false update 22%；建议对 create/update/reinforce/supersede 决策单独评估，并引入 temporal guard，但需避免把应 update 的旧信息错误降级为 reinforce。
- 检索瓶颈与 LLM 补偿问题在电商推荐中同样存在：画像正确但 embedding 召回不匹配会导致失败，强 LLM 可能用部分结果生成看似正确答案；建议同时监控检索命中率和生成结果，区分故障层。
EvalResearchBench：让 AI Agent 自主设计评测反馈，支持递归自我改进
🧭 AI Agent 自动化评测设计 ★ 深度解读
Oregon State University · University of California, San Diego · Pennsylvania State University · AG2 AI
首个系统评估 AI agent 在固定预算下自主设计、迭代并冻结评测器的基准
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐场景中，如果已有一套昂贵的线上 A/B 或离线评估集（如用户满意度、转化率、长期留存），可以借鉴 ERB 的思路，让一个 LLM agent 用固定预算从已有标注/日志中挑选或合成一个小而精的「代理评测集」，通过 pilot 迭代修正 grader 和权重，再用 sealed 候选模型验证其排序能力。
- 评测器的构建成本与执行成本要分开账本管理：研究/开发预算和最终评估预算独立，防止 agent 在思考阶段消耗光测试资源。在业务中可对应「离线实验预算」和「在线评估配额」的隔离。
- 关注 aggregation 的权重设计：Grok 的案例显示，按 development 候选排序拟合出的权重可能严重依赖少数几个高分题目，导致有效信号被稀释；用 equal weight 重新计算后 Score 明显提升。业务中设计离线离线指标加权时，应避免过度拟合历史模型的排序，定期用新模型反查权重是否稳定。
- 题目数量对评估一致性和稳定性有直接影响：从 10 题到 90 题，Score 均值上升且方差下降。若业务要做轻量级模型评估，建议保证每 domain 至少 30-60 个有区分度的样本，否则容易高估/低估某个模型。
OR-License：评估 LLM Agent 作为真实运筹优化实践者
🧭 LLM Agent 端到端运筹优化评估
HKUST-GZ · HKU · Qingzhi Optimization (Jinan) Information Technology Co., Ltd. · Hunyuan, Tencent · Tianjin Meta & Infinite Technology Co., Ltd
用 31 个真实付费 OR 项目构建基准，通过客户端模拟器评估 LLM Agent 从原始需求到可部署方案的端到端能力
📌 工作参考价值（4 点）
- 在业务中让 LLM Agent 处理需求分析与建模时，不要只依赖初始 prompt，可引入受控的“客户模拟器”或澄清循环，显式管理信息获取阶段（澄清、建模、验证），并跟踪已确认问题的解决率。
- 评估生成式推荐/优化系统时，除了软性质量指标，应加入可行性硬性检查与类似 DAQ 的“不可行归零”指标，避免模型产出无法部署的方案。
- 对长链路 Agent 任务（如自动选品、库存规划、物流调度），可借鉴研究链完成率定位失败环节：问题表述、代码实现、结果验证，再针对性加入 RAG 或 self-correction。
- 与专家解对比时注意信息边界：业务中 Agent 不应假设隐含专家知识，要显式建模信息获取过程，否则会高估条件质量而低估部署风险。
PersonaCUABench：多样化用户人设下的计算机使用智能体评测基准
🧭 Agent 评测 · 用户多样性
The University of Texas at Dallas · University of Southern California · Carnegie Mellon University · Georgia Institute of Technology · University of California, Los Angeles
固定任务、仅变化用户人设，发现 CUA 任务完成率平均下降 36%
📌 工作参考价值（4 点）
- 对话式推荐/购物 Agent 评测可借鉴「固定任务、仅变化用户 persona」的设计，分离任务难度与用户表达差异，避免只测固定指令。
- 用户 simulation 中让 persona agent 用自己的话改写请求、回答追问，能暴露模型对含混需求、额外约束、批准流程的理解能力。
- 评估指标需同时看任务完成与用户满意度/约束遵循：论文中任务完成但用户最高满意度仅 62.7%，提醒业务中不能只优化结果正确。
- 错误分析维度「理解错需求导致失败」vs「用户要求停止但被判定失败」可帮助定位是语义理解问题还是策略/安全机制问题。
Data World：从零开始规模化合成数据环境
🧭 多智能体环境生成与数据代理训练
Nanjing University · Meituan · Zhongnan University of Economics and Law · Hunan University · Shanghai Jiao Tong University
多智能体引擎从显式机制合成数据环境和任务，产出训练数据并RL-zero训练数据代理，基准大幅提升
📌 工作参考价值（4 点）
- 数据合成范式可迁移到推荐 Agent 训练：先定义用户偏好机制或环境规则，再生成可观测行为序列（点击、购买），让 Agent 反推机制并产出策略。相比收集真实数据，这种方式规避隐私且天然携带 ground truth，适合构建 RL reward。
- 多智能体审计确保任务可解性：在生成模拟环境时，让独立角色检查目标是否可从观测文件恢复，避免生成无解或歧义任务。在电商场景中，可用一个智能体生成用户模拟，另一个验证推荐理由是否成立，减少无效标注。
- 用 rubric 同时作为评估和 RL 奖励：不必依赖人工轨迹蒸馏，结构化评分标准可直接作为 reward，降低标注成本。对于推荐系统的解释生成、策略优化等开放式任务，可设计类似 rubric 让模型在无监督数据上自我改进。
- 人类偏好筛选提升任务真实性：从大规模合成任务中筛选最接近真实业务问题的子集构建评测集，可借鉴到 query 推荐、商品文案生成等任务，快速构造高质量离线 benchmark。
RealCLI：CLI Agent 人机协作统一评估基准
🧭 CLI Agent 人机协作评估基准
Beihang University · Renmin University · IQuest Research
提出 REALCLI 双模式基准，统一评估 CLI Agent 任务执行与协作质量，揭示前沿模型协作能力严重不足
📌 工作参考价值（4 点）
- 电商/运营 Agent 常执行长链路任务（如批量改价、选品、报表生成），可借鉴 REALCLI 的“执行模式 + 协作模式”双评估：既测任务完成，又用 scripted user 模拟渐进需求与授权，防止只优化结果而忽略用户体验。
- 五维框架中的 steerability、trust calibration、safety boundary 可直接迁移为客服/自动报价 Agent 的评测 rubric，例如检查 Agent 是否在修改价格、发优惠券前请求确认、是否过度自信。
- 对于需要人机协同的推荐/搜索 Agent（如自动生成 query 或调整策略），可参考“约束修订”场景模板，设计测试用例评估模型在用户中途改变目标时能否平滑重规划。
- 工程上，scripted user 成本低，适合作为 CI 回归测试，避免每次都要真实人工参与，可先小规模试点。
τ-Emotion-Bench：用真实用户情绪暴露 LLM Agent 交互脆弱性
🧭 情绪化用户交互下工具调用 Agent 评估与训练 ★ 深度解读
Arizona State University
提出情绪化用户交互基准与 Tracer 数据管线，用交互感知信号训练工具调用 Agent 提升可靠性与跨域迁移
📌 工作参考价值（4 点）
- 在电商导购/售后 Agent 的轨迹合成中，可引入“用户不满可提前终止”的交互感知 reward，过滤最终成功但频繁追问、过度依赖用户的轨迹；让模型优先通过工具查库存/价格/订单，信息不可得时才向用户确认。
- 用户模拟器压测时，不要把情绪作为独立任务或改变任务目标，而应在同一任务上叠加情绪条件（如焦虑、不耐烦、低信任）并保留原成功判定，能更稳定地暴露 Agent 的交互鲁棒性。
- 用“工具调用/追问比”作为线上会话 Agent 的诊断指标：成功会话通常工具调用明显多于追问；可以在 prompt 或 reward 中约束“先查工具，再必要时追问”。
- 借鉴 Tracer 的依赖图 + 反写自然指令流程，可以为业务领域低成本生成 policy-valid 多步任务和训练轨迹；少量高质量交互感知数据比大批普通成功轨迹更利于跨域迁移。
FASHION-RQ：挖掘层级语义结构自动评估时尚检索
🧭 检索评测基准 · Semantic ID 层级 ★ 深度解读
Glance
利用 RQ-VAE 语义层级自动生成查询与分级相关性，构建可诊断属性的时尚检索基准
📌 工作参考价值（4 点）
- 可直接借鉴「Semantic ID 前缀作为相关性标签」的思路：在电商商品检索中，用 RQ-VAE 生成的层级 ID 前缀定义 Exact/Sibling/Related/Irrelevant 四级相关性，无需人工标注，适合大规模、可再生的评测集构建。
- 引入「attribute exclusivity loss」让量化层对应单一属性（如品类、款式、颜色等），能显著提升 Semantic ID 簇的语义纯度，对生成式推荐中的 SID 质量改进有直接迁移价值；注意 codebook size 不宜过大，64 在纯度与簇密度之间取得平衡。
- LLM 只负责把簇的属性分布与 parent/sibling 差异「verbalize」成购物 query，相关性仍由 SID 层级确定，避免 LLM 逐对打分带来的幻觉与不可复现问题；这个分离设计值得在自动化评测 pipeline 中复用。
- 属性级诊断指标值得落到推荐/搜索系统的离线评估：aggregate nDCG 会掩盖模型在 material、style 等长尾属性上的短板，建议在例行评测中增加 per-attribute match score，定位具体失败模式。
社交 Agent 交互有效性：从成对世界可验证结果中学习
🧭 Agent 社交交互 · 可验证结果奖励塑形 ★ 深度解读
Alibaba Token Hub, Alibaba Group · The University of Tokyo
提出 HICO-Bench 与 PaCPO：以成对世界可验证结果评估并训练社交 Agent，Qwen3-8B Verified Success 20.4%→28.3%
📌 工作参考价值（4 点）
- 评估体系：引入「Feasibility + Integrity」双层验证。在电商客服/导购/协商 Agent 中，可用规则校验最终订单、退款、排期等结构化结果是否满足双方约束，再让 LLM judge 检查对话是否支撑该结果，避免只看对话流畅度。
- 成对世界构造：对同一公共上下文只改一个私有条件（如用户预算、偏好），构成 contrast set。可用来诊断 Agent 是否真正利用差异信息，而非用同一套回复应付不同用户；也可作为回归测试集。
- 回合级信用分配：PaCPO 的 tentative plan 探测 + 跨世界 credit 可在多轮任务型对话 RL 中复用。每轮后让模型输出「如果现在结束会提交的结果」，与另一世界的结果对比，只在关键信息披露后的分化时刻给予奖励，用 potential-based 重分配保持总奖励不变。对训练客服主动澄清需求、协商出价等场景有价值。
- 保守预期：即使 PaCPO 提升，绝对 Verified Success 仍只有 28.3%，说明复杂多轮交互任务上 RL 收益有限；建议先做好 SFT 初始化（SFT+PaCPO 达 31.67%）和结构化验证闭环，再逐步引入 RL。
苏格拉底式技能学习：教学与实践交替习得可迁移 Agent 技能
🧭 Agent 技能获取与迁移学习
Nanjing University · Alibaba Group
通过教学与实践交替学习可复用的 Agent 技能，并构建 SkillTransferBench 验证迁移性
📌 工作参考价值（4 点）
- 将任务过程提炼为可复用 Skill 包（指令 + 可执行资源），而非一次性 prompt，便于跨场景复用；在电商/广告场景可将选品策略、文案生成规则、竞价逻辑封装为 Skill 供多个 Agent 会话调用。
- 采用教学与实践交替：Educator 只提供引导和反馈，Student 作为唯一环境操作者和 Skill 作者，可以质疑、测试并调整建议，这样学到的 Skill 能覆盖边界条件，避免简单模仿成功轨迹带来的过拟合。
- Issue-Guided SSL 通过跟踪未解决问题动态选择回顾内容，大幅降低 token 消耗（Educator tokens 减少 61.7%），适合成本敏感的生产环境；可将类似机制用于内部技能库的维护与更新。
- 构建 SkillTransferBench 的思路值得借鉴：用任务家族变体（不同商品类目、不同 query 模式）作为 held-out 测试，验证技能在全新 solver 会话中的迁移能力，可作为评估自研 Agent 技能泛化性的基准。
一日合成十年：从人本软件演化构建 Agent 原生接口
🧭 LLM Agent 接口设计与评估
Independent Researcher · LIGHTSPEED
提出 DeskIF-Bench 基准并依据可发现性、粒度、可观察性合成原子接口，提升 LLM Agent 桌面任务成功率并降低约73% token 消耗
📌 工作参考价值（4 点）
- 业务中构建 Agent 操作内部系统（如广告投放、推荐配置后台）时，不要直接让 Agent 调用低层 SDK 或点击 GUI，而是抽象出“原子操作”（如设置预算、创建计划、查询报表）并组合成“目标级命令”（如“暂停超预算广告”），可显著提高成功率并降低 token 消耗（论文中约降低 73%）。
- 设计给 Agent 使用的工具/API 时，重点优化三个属性：可发现性（discoverability）——让 Agent 能快速找到可用操作；粒度（granularity）——操作粒度与任务目标匹配，避免过细或过粗；可观察性（observability）——返回结构化、明确的状态反馈，便于 Agent 决策。这些属性可通过轨迹分析识别。
- 评估 Agent 在不同版本或不同工具接口下的表现时，可借鉴“固定任务、Agent、验证器，只改变接口”的对照方法，定量归因接口设计的影响，指导内部工具迭代。
- 若在电商搜索推荐中引入 Agent 调用推荐引擎或搜索服务，可提供高层命令式接口（如“重排序候选集”），而非暴露底层模型推理细节，提高 Agent 决策效率。
语言模型能玩维基百科游戏吗？
🧭 LLM 信息检索导航能力评测
The Alan Turing Institute
构建大规模本地维基与引文图，评测 LLM 跨语言/跨领域导航检索，最佳模型与人类相当但未超越
📌 工作参考价值（4 点）
- 借鉴 Wikipedia Game 评测框架，用本地构建的商品/内容链接图（如商品详情页关联、类目树、百科内链）替代依赖外部 API，低成本评测 LLM 在业务知识图谱上的多跳导航与检索能力，提前发现跨类目/跨语言失效模式。
- 在选型 LLM 做检索或 Agent 路径规划时，不要只看平均分：模型在不同语言/话题下排名会反转，业务上应按店铺类目、搜索语言分别评测，针对性部署或路由。
- 把 TF-IDF 和人工导航成功率作为双 baseline：当 LLM 只是“与人类相当”时，适合做辅助或候选生成，不建议完全替代人工；工程上可设置阈值或 human-in-the-loop 校验。
- 若构建商品/论文/类目大规模图并导航，可复用该工作已开源的 Wikipedia 与 OpenAlex 图构建代码，作为本地 RAG/GraphRAG 的路径探索与评测数据集。
AI智能体能否登顶？长程游戏竞赛中的对抗式启发式学习评估
🧭 Agent 在对抗游戏中的长周期自我改进
Department of Computer Science and Technology, Tsinghua University · College of AI, Tsinghua University
提出 AHL 范式与 AAArena 基准，评估 LLM 智能体在 12 个对抗游戏中通过选对手、分析回放和改策略爬升排名
📌 工作参考价值（4 点）
- 可借鉴 AHL 的“固定模型权重、让 LLM 作为教练从对局/日志回放中提取规则并修改策略代码”的闭环；在推荐/广告场景可让 LLM 定期分析线上 bad case sessions，产出可解释规则或轻量策略补丁，而不直接改动模型，降低上线风险。
- 论文发现 opponent selection 支持策略提升；对应推荐里困难样本/对抗样本挖取，让 agent 优先复盘高价值失败流量（如高竞价失败、低转化但高曝光），提升迭代效率。
- dense feedback 支持改进；在设计 RLHF/策略迭代时，除了最终指标（GMV/CTR），给 agent 中间步骤奖励或分阶段反馈，避免长程稀疏奖励导致学习困难。
- on/off-policy 回放都有效：线上策略迭代可以同时利用自己的日志（on-policy）和竞品/他组日志（off-policy）做分析，尤其冷启动期可借其他方案数据。
GeopoliticalQA：情报报告检索与生成基准
🧭 RAG 检索与生成基准评测
Mantis Analytics
构建 415 份情报报告、5,525 条 QA 的地缘政治 RAG 基准，系统评估检索与生成
📌 工作参考价值（4 点）
- 在电商/Agent 知识检索场景中，chunk 级检索质量不必依赖超大 embedding 模型；中等规模开源编码器 bge-m3 可与大 10 倍模型持平且优于商业 API，可先用这类模型做成本可控的域内检索。
- 文档画像先行的问题生成 pipeline 可用于构建电商搜索/推荐领域的合成评测集：先对商品/报告进行结构化画像再生成问题，并配合 LLM-as-judge 做质量过滤，提升训练与评测数据可用性。
- 即使给定黄金证据，复杂推理类问题（对应商品选品、活动归因、风险判断等）仍是生成瓶颈；在 RAG Agent 中应加强多步推理、证据整合与结果校验，而非只优化召回。
- LLM-as-judge 协议验证数据集质量的方法可直接迁移到搜索 query 改写、推荐理由生成等任务的离线评估，减少人工标注成本。
推理驱动的视觉编辑基准与 RISE-Agent
🧭 视觉编辑推理基准与 Agent 评估
Shanghai Jiao Tong University · Southeast University · South China University of Technology · Microsoft Research Asia · Fudan University
构建首个推理驱动视觉编辑基准 RISEBench++ 及训练无关 Agent，覆盖六类推理并评估58个模型
📌 工作参考价值（4 点）
- 复杂指令的分层拆解：将用户编辑需求按时间、因果、空间、逻辑、反事实维度解析，可借鉴到电商商品图修改、广告素材编辑等场景，提升指令遵循精度。
- LMM-as-a-judge 的校准评估：结合人工校准的大模型裁判，可用于生成式推荐结果、文案或图像修改的多维度离线评估，降低人工评测成本并提高一致性。
- 训练无关 Agent 工作流：RISE-Agent 的规划-执行-验证闭环，适合直接嵌入商品图或营销素材生成的业务流，先做推理规划，再调用修图/生成工具，最后用验证器自查，无需额外训练。
- 多图条件输入保持外观一致性：多参考图机制可迁移到电商场景中跨图保持品牌 VI、模特、商品外观一致，减少多步编辑中的风格漂移。
BrickBench：评估智能体乐高设计能力的基准
🧭 Agent 设计评估基准
Stanford University · Max Planck Institute for Intelligent Systems · Inria
提出 BrickBench 基准与环境，评估编码 Agent 在文本条件 LEGO 设计中的物理与语义满足度
📌 工作参考价值（3 点）
- 评估复杂约束生成任务时，可拆分 validity/alignment/design 三指标，对应推荐系统中的可执行性/相关性/体验质量，便于定位 Agent 短板。
- BrickAgent 的“编码-执行-检查-修订”循环是评估推荐 Agent 的可借鉴范式：给 Agent 提供可调用的库存查询、规则校验、模拟器接口，而非仅做文本输出。
- 三种约束设置（不同零件库规模与可用性）提示在推荐场景中应测试 Agent 在不同库存、预算或商品池约束下的泛化能力。
更深入地审视 Agentic BBO：面向黑盒优化的 LLM Agent 基准测试
🧭 LLM Agent · 黑盒优化基准测试
State Key Laboratory of Novel Software Technology, Nanjing University · School of Artificial Intelligence, Nanjing University
构建跨领域基准 AgenticBBO-Bench，统一评估 LLM Agent 在黑盒优化中的表现并分析关键设计因素
📌 工作参考价值（4 点）
- 在推荐系统超参数优化（学习率、正则系数、embedding 维度等）或 AutoML 流程中，可让 LLM agent 结合任务语义与历史 trial 结果生成候选配置，再由数值优化器精调，减少早期随机搜索浪费。
- 当黑盒目标包含语义信息（如商品类目、广告文案风格、用户意图）时，将语义先验注入 agent 提示词能稳定提升搜索效率；但避免使用过于具体的先验知识，论文显示具体先验不稳定。
- 线上 A/B 测试或流量有限的调参场景可借鉴 finite-budget 协议：在固定评估次数内对比不同策略，结合 LLM 推理成本选择 Pareto 前沿模型（如 DeepSeek-V4.1-Flash），兼顾性能与成本。
- 设计 agent 系统时不必堆砌额外数值工具，应优先利用任务语义和 agent 生成的优化轨迹；数值优化器可以有效吸收 agent 探索得到的轨迹，二者协同优于单独使用。
Learn2Play Bench：评估 LLM Agent 在陌生环境从经验学习的能力
🧭 LLM Agent 经验学习评估基准
National University of Singapore
设计新文本游戏基准 Learn2Play Bench，揭示保留完整交互轨迹优于总结规则、改变 harness 可提升性能并降本
📌 工作参考价值（4 点）
- 在电商客服、导购、自动谈判等 Agent 场景中，优先保留完整的动作-反馈交互轨迹作为后续决策上下文，而不是仅让 LLM 总结成规则或策略；原始轨迹能保留更多细节，有助于更有效的经验学习。
- 固定 LLM 骨干模型后，优先优化 Agent harness（状态管理、观察剪枝、动作选择器、循环控制等）可能比微调模型更划算：论文显示更换 harness 可同时提升性能并降低推理成本，对业务降本增效有直接借鉴意义。
- 评估 Agent 上线前的学习/适应能力时，应设计规则新颖或反直觉的任务，避免模型利用预训练知识掩盖交互学习不足；同时通过变化游戏实例测试泛化，类似电商场景中的新品类、新活动规则快速适应测试。
- 人类玩家策略多样性显著高于 Agent，且重复动作更少，提示在 Agent 探索机制中可引入多策略采样、多样性正则或 epsilon-greedy，避免过早陷入局部策略，对复杂对话和推荐交互尤其有用。
TestPrism：超越单参考的代码测试评估与 TestHelix 改进
🧭 LLM 代码测试生成评估
Nanjing University · Hong Kong Polytechnic University · Tencent
提出 TestPrism 基准与联合成功函数，揭示单参考评估高估测试质量，并用 TestHelix 将联合成功率提升 8.67-9.00 个百分点
📌 工作参考价值（4 点）
- 评估生成式输出（如 query 推荐、文案改写、搜索建议）时，不要只用单一参考做金标准：构建多个有效/无效候选，要求模型同时接受所有有效变体、拒绝所有无效变体，避免指标虚高。
- Agent 工作流中引入「同行交叉验证」：多个模型/策略互相打分、过滤，能提升生成结果的稳健性，可直接用于推荐文案、搜索词等多候选生成场景。
- 借鉴 TestHelix 的递归自我改进：用失败样本构造「错误→修复」对，迭代微调或 self-training，适合用于低资源场景下生成式推荐的冷启动或长尾覆盖。
- 异质合成正负样本的思路可迁移到推荐/搜索的训练数据构建：混合不同来源/策略生成多样化有效和无效样本，增强模型对边界情况的区分能力。
现实性 vs 准确性：事件序列预测的生成建模视角
🧭 事件序列条件生成建模与评估基准
Applied AI Institute · ITMO University · Vega Institute Foundation · SB AI Lab · AXXX
提出事件序列预测基准与Wasserstein BaryBooster算法，揭示准确性与分布真实性权衡，并将扩散模型样本聚合为SOTA预测器
📌 工作参考价值（4 点）
- 评估生成式推荐/用户行为序列模型时，除 hit rate 等 accuracy 指标外，引入分布真实性指标（如 Wasserstein 距离、MMD）检测模式坍塌，避免生成结果集中在少数高频事件。
- Wasserstein BaryBooster 的思路可迁移到生成式推荐：用扩散模型生成多个候选 item 或序列，再通过最优传输聚合（如 Wasserstein barycenter）得到确定性排序或预测，将生成多样性转化为点预测精度。
- 事件序列同时包含数值特征（如交易金额）和类别特征（如商品类目），该基准的异构建模方式可参考用于电商交易序列、用户行为序列的长期预测。
- 准确性-真实性权衡的发现提醒：追求 likelihood 或逐点预测可能牺牲生成质量，应根据业务目标（如推荐多样性 vs 点击率）选择模型或设计混合策略。
瓶中智能体：LLM智能体能否将自身能力转为廉价可扩展制品
🧭 Agent 自动化低成本制品生成与评估 ★ 深度解读
University of Tübingen · ELLIS Institute Tübingen, Max Planck Institute for Intelligent Systems, Tübingen AI Center · École Polytechnique, Institut Polytechnique de Paris, CNRS · KAIST AI
用BOTTLED基准评估LLM智能体在固定预算下把通用能力封装为任务专用廉价制品的能力，发现零样本强不必然装瓶强
📌 工作参考价值（4 点）
- 大规模重复性电商文本任务（商品属性抽取 MAVE、query-product 相关性 ESCI、内容审核）不要逐条调用大模型：先用固定蒸馏脚本做基线——用便宜模型标注到预算耗尽，再训练 Qwen3-0.6B / SmolLM2-360M。论文里这个 naive 基线击败了 31/60 个 agent 装瓶 run，落地时应当优先验证。
- 选型别只看零样本指标：GPT 5.6 Terra 与 Sonnet 5 在 MAVE 零样本 F1 都约 0.44，但装瓶后 F1 分别为 0.405 和 0.154。实际业务中若要让 LLM agent 自己生成廉价制品，必须在同等 token/时间预算下重新评估模型，而不是沿用零样本/少样本 leaderboard。
- 工程上必须设置硬性预算、强制交付 out.txt 并监控预算：21/60 run 耗尽 token，8 个没有任何输出；Gemini Flash-Lite 甚至把数百万条输入误判为 49 条。生产系统需要 fallback、预算跟踪工具和超时熔断，否则 agent 会浪费资源无产出。
- 对于超大规模重复推理，自蒸馏小模型/规则程序可以接近专用廉价模型 Jev：Opus 5 在 ESCI 上恢复 Jev 94% 的 macro-F1，成本约 1/4；在 RAID 上 Gemini 3.1 Pro 达到 Jev 97% AUROC，成本约 2%。可优先尝试 bottling 而不是引入另一套专用推理模型。
Agent实际做了什么？面向长程Agent的基于证据监督方法
🧭 Agent行为监控与证据定位
Gaoling School of Artificial Intelligence, Renmin University of China · Kuaishou Technology
提出EBG训练无关方法，将证据按行为分组并构图为任务导向视图，提升长程Agent关键决策识别与证据定位
📌 工作参考价值（4 点）
- 在电商/广告Agent自动化流程中，可将EBG作为轻量监控层：把Agent动作日志按源链证据聚类为行为节点并构建依赖图，在审核UI中呈现任务导向视图，帮助运营快速定位需要人工验证的环节，避免阅读完整trace。
- EBG训练无关、即插即用，且证据定位增益在长上下文和不同超参数下保持稳定，可直接嵌入现有Agent监控模块，无需额外训练或微调，适合快速上线。
- 借鉴AgentMonBench的两个评估维度（需求-行为对齐、自主决策需验证的意识），在内部构建Agent可靠性测试集，重点考察Agent是否做了需求外的事、是否在关键节点主动请求确认。
- 对搜索/推荐系统中由LLM Agent生成的query或策略，可用EBG将决策与证据（用户日志、商品信息）显式链接，增强可解释性与审计能力，提升人对自动决策的信任。
NeutronGym：面向 LLM Agent 的物理分级中子仪器设计环境
🧭 LLM Agent 科学仪器设计与 RL 训练环境 ★ 深度解读
Oak Ridge National Laboratory
首个可执行中子仪器设计环境，用无 LLM 评判的物理分级奖励训练 8B 模型超越未训练 32B
📌 工作参考价值（4 点）
- 奖励塑形：把最终业务指标拆成可验证的中间层（输入合法→系统可执行→返回结构完整→业务指标达标），每层给部分信用。文中去掉部分信用导致 pass rate 从 76.7% 暴跌至 16.7%，说明密集课程式奖励是 RL 稳定训练的关键，推荐 Agent 做 RL 时不要只用稀疏 GMV/转化作奖励。
- 防 reward hacking 的 no-model 基线：上线前用固定答案、读题规则、跨实例迁移三种 probe 检测任务是否可被捷径破解。对应电商场景应先跑规则基线（热门、复制 prompt 限制、历史均值），避免把“背答案”当成模型能力。
- 工具调用前置校验：22 个工具在调用时即校验组件与参数合法性，把编译错误前置到工具层。Agent 链路中应对每个工具输入做 schema 校验并返回最近合法选项，减少多轮失败和无效探索。
- 不要只用成功样本做 SFT：克隆自己成功轨迹的模仿学习在文中让 pass rate 从 40.3% 跌到 31.3%，而 on-policy RL 训练包含失败轨迹效果更好。推荐 Agent 微调时应保留失败探索轨迹做 RL，避免只喂高转化样本导致分布偏移。
缺失的原语：诊断与修复大语言模型数学推理
🧭 数学推理诊断与后训练蒸馏 ★ 深度解读
Texas A&M University · Harvard University · Vanderbilt University · Stanford University · DARPA
提出 Mathematical Primitive 与 PRIM benchmark 诊断结构性理解，并用 ABSORB 蒸馏框架提升推理
📌 工作参考价值（4 点）
- 在推荐/Agent 场景中，把复杂推理拆成「意图/结构发现」与「执行/生成」，用诊断 benchmark 定位瓶颈是 discovery 还是 execution。例如 query 推荐中区分「用户意图识别」与「候选生成/排序」，不要只看最终指标掩盖能力差异。
- 做 privileged information 蒸馏时，教师侧不要给完整 solution，而是给 concise structural hint（如 query 的语义类目、用户意图标签、商品属性约束），并采用 bounded override / one-sided clamp 限制教师过度覆盖学生自身策略，减少已解决 case 的回退。
- 后训练样本优先选择 discovery-limited failures：模型拿到正确 hint 就能解的问题，修复收益约为联合失败 case 的 3 倍。对应推荐系统中可优先构造「给了正确类目/意图就能推对」的 hard case 用于 SFT 或蒸馏。
- 评估体系增加结构性理解维度（如能否从完整 session 中识别核心购买动机），避免单纯 final answer accuracy 掩盖模型能力画像差异，尤其在迭代模型版本时用于回归监控。
Argo-Bench：评估企业级工作流中的数据智能体
🧭 数据智能体评估 · 企业级数据工作流
TextQL
构建企业级数据智能体评估基准，模拟纽约外卖平台，要求跨235表分析并采取行动，最强模型均分仅59.5
📌 工作参考价值（4 点）
- 评估 Agent 时不要只看 SQL 正确率，可以引入“动作后果评分”：在电商/推荐场景中构造仿真环境（如用户响应模型、市场模拟器）对调价、选品、发券等决策进行闭环评估
- 复杂 schema 导航是实际瓶颈：可构建内部数据仓库查询基准，覆盖多表 join 和业务语义，并用可执行参考解保证可解性，避免错误答案误导模型评估
- 最强模型在长链路、多表、需行动的任务上平均分仍低，说明工程上需要为 Agent 增加 schema 检索、知识图谱、规划模块或领域微调，而非仅依赖 prompt
- 参考解设计可迁移：为每个任务提供端到端可执行方案，便于诊断 Agent 失败在导航、SQL、分析还是行动阶段，支撑针对性优化
从图像到任务：刻画多模态LLM真实交互
🧭 多模态LLM真实任务分布分析
University of Southern California · Microsoft · Microsoft Research
分析4万+图像上传对话，揭示多模态LLM真实任务分布及基准错位
📌 工作参考价值（4 点）
- 用户上传图像的意图通常是复合的，如商品图+文字需求（找相似、鉴别、搭配建议），应在多模态助手中构建复合意图理解，而非单一分类。
- 借鉴其分层能力框架（感知/认知/生成）作为埋点与监控维度，在拍照搜索或多模态客服中统计任务分布，指导模型迭代和资源分配。
- 真实使用中生成类任务（根据图片生成文案、表格、代码）占比较高但公开基准覆盖不足，业务上应自建生成质量评测集，避免依赖通用 benchmark。
- 跨模态 grounding 任务（如截图提取数据、图表转代码）在真实场景常见，可针对性加强 OCR+结构化理解+生成的能力链路。
KaliBench：面向 Kali Linux 的细粒度网络安全工具调用基准与免运行时可验证奖励
🧭 LLM 工具调用评测与可验证奖励训练
Khalifa University · University of Western Australia
构建 8,504 条自然语言到 CLI 的细粒度基准，用可验证奖励把 8B 模型训练到接近 685B MoE 水平
📌 工作参考价值（4 点）
- 在电商/广告 Agent 中，若需要模型生成参数化工具调用（如推荐 API、搜索 API、营销活动配置），可仿照 KaliBench 构建「意图 → 结构化调用」的细粒度评测集。对工具名、参数名、枚举值做 canonicalization 和别名归一化，能定位到 flag 绑定、参数顺序等细粒度错误，而不是只看端到端失败率。
- 设计“无运行时可验证奖励”：用 gold 命令/参数与预测结果做确定性匹配（可包含语义等价的 alias 映射）作为 RL 奖励，避免每次 rollout 都跑真实线上环境；适合用 8B 级小模型做工具调用训练，压缩到接近大 MoE 效果，降低推理成本。
- 构建训练数据时采用多阶段验证：LLM 初判 + 沙箱/模拟器执行 + 人工复核。对业务中高价值的 Agent 工具调用数据，这一组合能显著降低不可执行或错误参数样本进入 SFT/RL 集。
- 结果显示无工具 schema 提示时模型 exact 匹配很弱；在业务 Agent 中应尽量提供结构化 tool schema、枚举约束或 few-shot 示例，把生成空间从自由文本 CLI 转向受约束 JSON 调用，以提升可执行率。
ScholarCatalyst：检索能启发新研究的论文的基准
🧭 科学文献检索基准与Agent评测
Stanford University · Seoul National University · University of Washington · Carnegie Mellon University · Allen Institute for AI
构建207篇论文的作者标注检索基准，揭示Agentic搜索未超越嵌入检索（R@20 0.42 vs 0.48）
📌 工作参考价值（4 点）
- 对搜索/推荐中的复杂长尾查询，不要盲目叠加 Agentic 循环：强嵌入检索 + 合理 rerank 可能已达上限；应优先优化底库 embedding、索引和 query 理解。
- 用“项目完成者回看哪些早期论文真推进了项目”的方式构建评估集，能捕捉比点击/相关性更接近“灵感价值”的主观相关性；电商推荐可借鉴让业务 owner 标注哪些商品/内容真正影响决策。
- 时间切分很重要：论文基准只允许检索项目开始前的文献，对应推荐/搜索中训练与评测需严格按 timestamp 切分，避免未来信息泄漏。
- 自动标注 pipeline 通过 author 标注+理由生成可规模化，可用于构建需要专家判断的检索/排序训练语料，帮助模型学习领域专家直觉。
VTR-Bench：视频生成中视觉文本渲染的系统性评测基准
🧭 视频生成评测 · 文本渲染
City University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong Institute of AI for Science, City University of Hong Kong · Westlake University · University of Electronic Science and Technology of China
系统评估视频生成模型的场景文本渲染能力，并提出关键帧引导的Agentic改进框架
📌 工作参考价值（4 点）
- 广告/商品视频生成：引入 WER/字符级 OCR 校验，把品牌名、价格、卖点文案作为硬性 text fidelity 指标，纳入 AIGC 创意 pipeline 的自动验收，避免错误文案上线。
- 关键帧先验与迭代：在生成视频前先用图像模型生成并校验关键帧文字，通过视觉反馈做 candidate selection / refinement；这比直接烧视频生成更省成本，适合筛选电商展示素材。
- Agentic Director 架构可迁移：Director 协调图像/视频生成与视觉评估，把“生成-检查-修正”闭环用于多模态广告 Agent，结合 prompt-specific chain-of-query 同时检查场景/运动约束。
- 评测分离 fidelity 与 semantic/motion：自动评测时用 carrier-specific transcription 和 chain of query，避免单一 VLM 打分；对多模态 Agent 输出的结构化和可归因评估有参考价值。
AutoDataBench：加速自动研究的数据中心测试平台
🧭 评估Agent数据智能能力
The Hong Kong Polytechnic University · IQuest Research · Shanghai Jiaotong University · TU Darmstadt · The University of Manchester
构建受控测试床隔离数据智能，评估LLM改进训练数据的能力及数据效应推理，并将轨迹复用于mid-training
📌 工作参考价值（4 点）
- 将数据诊断、数据组织、数据构建三阶段框架用于电商推荐数据飞轮：固定模型与超参，单独度量数据改动的增益，避免归因混淆。
- 借鉴迭代实验设置：在资源预算约束下让LLM自动做特征筛选、样本去噪、知识注入（如商品属性补全），可降低人工数据工程成本。
- 引入“训练前预测 vs 训练后结果”对比审计LLM的数据理解能力，识别Agent是否只是试错而非真正推理数据效应，可用于内部Agent评估。
- 收集Agent的数据干预轨迹用于mid-training，提升下游任务性能，说明高质量数据操作过程本身可作为合成数据，适合电商场景的持续预训练或指令微调。
跳出盒子思考：语言模型能否选择性依赖外部指导？
🧭 Agent 工作流选择性依赖评估与训练 ★ 深度解读
Southern University of Science and Technology · City University of Hong Kong
提出 Box2-Bench 评估 Agent 在工作流可靠性变化时的选择性依赖，发现模型会用但难弃坏指导，反事实 SFT 加 RL 可训练选择性
📌 工作参考价值（4 点）
- 在电商/导购/售后等 SOP 型 Agent 中，外部 workflow 可能过时或误导，可用 Box2 的 paired evaluation：固定任务和模型，只变 workflow 的 Good/Bad/Partial/Mixed 四种可靠性，能分离模型自身能力与流程依赖，避免只看端到端准确率掩盖流程鲁棒性。
- 训练技巧可直接复用到业务 Agent：只用 bad workflow 数据做 counterfactual SFT（问题+错误流程→验证过的正确轨迹），让模型学会无视误导流程；再叠加 outcome-based RL（GRPO）恢复对好流程的利用，避免模型对所有流程都变得抗拒。
- 该两阶段训练会泛化到多 Agent 协商和 memory-augmented RAG：训练后模型对不可靠的 peer 建议和 corrupted memory 更倾向验证而非盲从，适合需要多 Agent 协作或记忆增强的推荐/搜索场景。
- 在 workflow 频繁变化的业务中，RL 奖励只看最终结果、不约束中间路径，允许模型动态决定何时偏离流程，可作为上线前鲁棒性筛选或流程迭代的辅助手段。
RLE-Bench：编码智能体作为机器人学习工程师的资格考试基准
🧭 编码智能体 · 机器人工程能力评测
Harvard University · Georgia Institute of Technology
提出覆盖四类机器人开发工作流的编码智能体评测基准，用 RLE Index 聚合多维工件指标并给出排行榜
📌 工作参考价值（4 点）
- 借鉴“工作流拆解 + 工件级评估”范式：将电商推荐 Agent 的能力按 query 理解/候选召回/排序策略/诊断优化等 workflow 拆分，分别评估 Agent 产出的代码、配置或策略，避免只测对话文本。
- 借鉴 RLE Index 的异构指标归一化聚合方法：在 Agent 综合能力排名中，对不同任务的成功率、策略收益、结构指标等做标准化后加权，可用来比较不同 LLM 驱动的推荐 Agent。
- 引入资源约束与多模态反馈的评估条件：电商 Agent 常面临延迟、成本、多样性约束，评测时可加入相应限制，考察 Agent 在受限环境下生成可部署 artifact 的能力。
- 案例研究定位 failure mode：对 Agent 在复杂搜索推荐任务中的行为做细粒度分析，可发现 LLM 在集成异构组件、处理多模态信号时的具体短板，指导后续微调或 prompt 设计。
TraceDance：从真实部署轨迹自动构建Agent行为基准
🧭 Agent行为基准自动构建
ByteDance Inc. · University of Illinois at Chicago
自动从真实Agent部署轨迹构建针对用户指定不良行为的基准，高效且评估与人类一致性高
📌 工作参考价值（4 点）
- 借鉴从部署日志构建评估集的方法：在电商搜索/推荐Agent中，可以记录真实会话轨迹，自动提取负面案例（如不相关推荐、违反政策回答），构建针对特定问题的回归测试集。
- Anchor-and-Confirm 高效构建流程：先通过规则、向量检索等可编程方法筛出候选，再用 Flash LLM（低成本）逐条确认，大幅降低人工标注成本，适合大数据量下的评估集生成。
- decision-point continuation 评估范式：无需完整环境重放，只需在关键决策点（如 LLM 生成下一轮推荐或回复）做续写评估，结合行为特定 rubric 自动打分，与人类一致性高，可用于线上模型行为的快速监控。
- 针对 LLM Agent 在推荐/搜索中的不良行为（如幻觉、违规话术），可以利用此框架自动生成定制化 benchmark，纳入模型上线前的回归测试和递归自我改进循环。
PriceBench：LLM 预订智能体价格、质量与品牌偏好诊断基准
🧭 LLM 采购智能体偏好诊断
London School of Economics and Political Science
提出 PriceBench，用 logit 选择模型从酒店预订选择中恢复 28 个 LLM 的价格质量品牌偏好，发现高能力模型偏好更强更一致
📌 工作参考价值（4 点）
- 在把 LLM 用作导购、选品或下单代理前，先诊断其隐式偏好：不要只看任务完成率，要在满足约束的候选中看它实际选了哪个；可用 logit 离散选择模型从历史对话或推荐日志中恢复价格、质量、品牌的权重。
- 弱模型容易受 listing order 影响或锁定单一选项，工程上避免直接让弱模型做最终购买决策；要么换更强模型，要么在 prompt 中显式注入价格约束并随机化候选顺序，降低位置偏差。
- 同一模型系列内价格敏感度差异可能超过一个数量级，上线代理或做 A/B 时需按具体模型版本/checkpoint 测量，不能沿用“同系列偏好差不多”的假设。
- 对 LLM 生成推荐/购物结果，把平均客单价或 booked price 漂移纳入离线评估；论文中 $247 到 $393 的差异意味着模型选择会直接改变收入与成本，不能只做事后观察。
AgentWorld：面向多智能体 LLM 长程协作的基准评估
🧭 多智能体长程协作评测基准
OpenAgents · Columbia University · University of Pennsylvania · Seoul National University · Penn State University
提出AgentWorld长程多智能体协作基准与CCE因果协作指标，最佳模型任务成功率仅52.0%
📌 工作参考价值（4 点）
- 多智能体业务链路（如营销活动生成、选品+文案+投放协作）不要只靠聊天历史维持长程计划；应引入显式共享计划/看板/JSON 状态，每轮或每阶段强制更新，否则 50+ 轮后计划会漂移。
- 评估智能体流水线时引入 CCE 式因果追踪：记录各 agent 的 action 及其依赖关系，区分对最终结果有因果贡献的步骤和“忙忙碌碌但无效”的动作；可用于优化 planner-retriever-ranker/推荐解释链路中的资源分配。
- 在角色非对称的多 agent 系统中，角色混淆是主要失败源；通过 role-specific system prompt、独立工具权限和结构化输出约束来减少越权/重复劳动。
- 长时任务需要 memory 管理：对共享状态做定期摘要或 checkpoint，并在关键节点触发 re-plan；否则 LLM 在长上下文/多轮中容易丢失早期目标。
信任与否：语音检索增强事实核查
🧭 语音事实核查 · RAG+CoT
IISER Bhopal · King's College London · MBZUAI
提出语音事实核查基准 VeriSpeak，揭示文本-语音模态差距，并验证检索+显式推理准确率达86.1%
📌 工作参考价值（4 点）
- 直播/短视频事实审核：在电商直播、短视频带货中，虚假宣传检测可用「语音输入 + 文本检索证据 + 显式推理」管道；仅拼接检索片段容易被模型混淆，应加 CoT 要求先区分“声明”和“证据”再判断。
- 模态差距评估：如果现有文本事实核查/内容安全模型被用于语音转写后的文本，要意识到可能存在系统性能下降；上线前需在真实语音或 TTS 基准上评估，或直接用 LALM 处理音频。
- RAG 防混淆设计：召回证据后，可在 prompt 中用角色/字段显式隔离 claim 与 evidence，并要求模型输出“一致/矛盾/无关”的结构化判断，这比直接给混合上下文更稳。
- 业务基准构建：可参考 VeriSpeak 的 probe 设计，构建电商领域 spoken claims 小样本（如功效、产地、价格承诺），快速对比不同 RAG+推理组合。
游戏竞技场：竞争环境下的战略LLM评估
🧭 LLM 动态竞技评估
通过国际象棋、扑克、狼人杀三类游戏构建动态对抗评估平台，避免静态基准饱和
📌 工作参考价值（4 点）
- 评估推荐/搜索中的策略Agent时，可借鉴其设计：用不完全信息博弈环境（如扑克）测试模型在不确定反馈下的决策鲁棒性，比静态问答更贴近真实用户交互。
- 狼人杀这类多人博弈可模拟多智能体协作与对抗，适合测试对话推荐系统中模型对用户意图的推理、欺骗识别和联盟策略，可用于电商智能客服、谈判Agent的评估。
- 平台可扩展性设计值得参考：将评估环境标准化，支持快速接入新游戏/新场景，便于企业内部搭建LLM竞技场，持续对比不同模型版本的实战能力。
- 结果揭示不同模型在战略规划、适应性上的差异，提示我们在生成式推荐中不要只看离线指标，应引入对抗性交互评估来区分模型真实水平。
ExplorationBench：在可验证异世界中评测 AI 系统的探索能力
🧭 LLM Agent 探索能力基准测评
Fudan University · Tencent · Tsinghua University
构建规则可执行且与预训练知识冲突的异世界沙盒，量化 AI 系统通过探索获取并应用全新规则的能力
📌 工作参考价值（4 点）
- 构建规则可替换的沙盒环境来评测 Agent 的探索与适应能力：在电商搜索推荐场景中，可以设计一个规则与线上统计常识冲突的模拟环境（例如排序收益反转、用户行为分布突变），让 LLM Agent 通过有限次交互探索新规则，而不是直接复用历史知识或预训练记忆。
- 提供有缺陷的手册 / 文档作为初始信息：实际业务中的文档、API 说明、运营规则经常过时或部分错误，可借鉴论文做法，用带噪声的初始手册训练或评测 Agent 的纠错与假设验证能力，从而提升对突发规则变更的鲁棒性。
- 关注探索轨迹的非单调性：论文发现持续探索会 stall 或 reverse 先前收益，提示我们在 Agent 流程中需要加入 checkpoint 或最优轨迹回滚机制，避免在长链路任务中因过度探索而丢失已学到的高价值策略。
- 用可执行规则替代人工标注来做自动化评测：将搜索/推荐策略验证转化为可编程的 sandbox，每个动作都可精确判断对错，能低成本生成大规模评测集，适合对 LLM Agent 做回归测试和版本对比。
塞壬之歌：当近端背景语境压过远端证据
🧭 长上下文注意力机制 · 重尾相关性对齐
Australian Artificial Intelligence Institute (AAII), University of Technology Sydney
识别长上下文 LLM 的 Proximity Trap，并提出重尾相关性对齐机制 LYRA，把更多注意力导向任务相关证据
📌 工作参考价值（4 点）
- 在电商搜索、RAG 或 Agent 长记忆场景中，不要把长上下文优化只等同于“扩大窗口”或“距离加权”；需要显式对抗近端无关内容的干扰，例如在 memory / context 读取层增加相关性门控或对注意力分布做重尾变换。
- 可以借鉴 LYRA 的 t-distributed heavy-tailed relevance alignment 思路：在检索增强、用户历史建模或商品详情拼接时，对 token 级的 relevance score 做重尾映射，避免注意力被大量近端噪声 token 稀释，让远端关键信息获得更高概率质量。
- 构建与 ProxBench 类似的评测：在 prompt 中注入大量近端但任务无关的背景文本，测试模型能否稳定利用远端证据；这比单纯 LongBench 更能暴露实际 Agent / 搜索推荐场景下的上下文干扰问题。
- 若自训长上下文排序或生成模型，可加入近端干扰样本，并设计 relevance-aware 的注意力匹配损失，帮助模型学习“位置近不等于任务相关”的归纳偏置。
WhatWorkedBench：评测 AI Agent 实验理解能力
🧭 AI Agent 实验理解与自适应实验设计评测
Carnegie Mellon University · Tsinghua University
构建 WhatWorkedBench 基准，衡量 Agent 在预算内实验后预测组件组合效果的准确性
📌 工作参考价值（4 点）
- 在业务 Agent 做离线调参/工作流组合优化时，不要依赖完整网格搜索，可让 Agent 在预算内主动选择少量配置测量，再用 GP 或 pair-effect ridge 推断全配置响应面，直接降低实验成本。
- 静态分析代码等价性，把行为完全相同的配置合并成同一组，作为先验约束注入 GP；论文中该 trick 将小样本恢复从 0.248 提到 0.462，适合推荐/广告流程中大量冗余开关或等价组件组合。
- 多组件组合实验（如召回/粗排/精排策略开关）优先建模主效应 + 成对交互，用 pair-effect ridge 在少量新测量下选优并控制误差，避免全阶交互带来的样本需求爆炸。
- 内部评估 Agent 实验推断能力时，可借鉴该 benchmark 方式：用穷举离线结果构建数值控制记录，让 Agent 提交预测表，再对照完整参考效果算 recovery，而非只看最终推荐指标。
DolphinBench：刻画智能体记忆的帕累托前沿
🧭 Agent 记忆评估基准
Mem0
首个通过任务完成直接评估智能体记忆，并要求报告成本与延迟的基准
📌 工作参考价值（3 点）
- 任务完成式记忆评估：在电商客服/导购 Agent 中，不要只测“用户偏好是什么”，而让 Agent 执行修改未支付订单、按用户历史沟通风格回复等任务，考察隐式的记忆触发与检索能力。
- 强制成本与延迟上报：上线 Agent 记忆模块时，同时记录 token 成本、检索步数、p50/p95 延迟，避免通过全量回放上下文或无限检索刷准确率。
- 用 with/without history 验证任务依赖：构建评测集时，删除相关历史后任务应无法完成，才能确认评测的是 memory 模块，而非 prompt 推理或通用能力。
OSWorld-Pro：面向计算机使用Agent的过程性评估基准
🧭 Agent 过程性评估基准
NVIDIA
用 2800+ 子目标与 LLM-Judge 评估 CUA 过程性失败，揭示 Claude Opus 5 仅 75.7%
📌 工作参考价值（4 点）
- 对推荐/电商 Agent 的长链路任务（如“找到商品并下单”）不要只看最终成交，可拆成 query 理解、筛选、加购等顺序子目标，用 LLM-Judge 对每个子目标达成做过程性奖励，定位失败环节。
- 可以借鉴其 subgoal 标注方法：由人工标注关键中间态，构建带部分奖励的数据集，用于强化学习或 SFT，让模型学会逐步推进而不是跳步。
- 关注失败模式分类（如点击错误 vs 键盘输入错误、子目标无关动作），在 GUI Agent 中可对应到 UI 操作与 API 调用，针对高频错误做 action space 剪枝或提示优化。
- 用 LLM-Judge 代替人工做过程性校验时，需要与人工标注做对齐验证，确保 judge 可靠后再上线到自动化评估流水线。
TrialAtlas：面向临床试验设计与优化的多智能体研究组织
🧭 多智能体协作优化复杂决策
University of Illinois Urbana-Champaign · Keiji AI Inc · The University of Osaka · University of Pennsylvania · AbbVie Inc
提出记忆增强的多智能体系统 TrialAtlas，通过文献、竞品、法规先例及历史 NDA 学习提升临床试验缺陷检测与成功预测
📌 工作参考价值（4 点）
- 多智能体分工可借鉴：文献合成、竞品情报、政策/法规先例分析、综合推理，类似电商场景中的市场分析、竞品监控、平台规则合规、策略生成，可将复杂决策拆解为专业子 agent 协同。
- 记忆增强机制：用历史真实案例（NDA/CRL）作为经验库，在推理时检索相关先例，可迁移到广告投放历史 campaign 复盘、商品推荐中的相似场景检索，提升决策可解释性和复用性。
- 构建领域真实业务评测集：用 291 个 FDA 拒批信做 benchmark，比合成数据更有业务可信度；电商可借鉴用投放失败案例、申诉案例或用户投诉构建回归评测集，评估 agent 的缺陷发现能力。
- 输出可操作建议而非仅风险评分：TrialAtlas 生成具体设计改进点，类似商品推荐解释、广告审核意见，提升生成结果在业务上的直接落地价值。
APort Vault：基于 Open Agent Passport 的 AI 智能体支付授权基准
🧭 Agent 工具调用授权与安全评估
APort Technologies Inc.
回放 4371 条人类攻击，证明确定性预执行检查可将未授权支付转账从 140 次降至 0 次
📌 工作参考价值（4 点）
- 在 Agent 执行支付、退款、优惠券发放等高风险工具调用前，增加一个确定性的预执行策略层（如 Open Agent Passport），用白名单校验接收方/账户，而不是依赖 LLM 自身的判断，可显著降低越权操作。
- 评估 Agent 安全或工具调用时，不要只统计“请求率”或“成功率”，应分解为请求、成功支付、授权决定、成员资格、未授权转账等多个事件，否则指标会掩盖真正的失败模式。
- 攻击回放与分层 policy 配置（Level 1-4）的思路可迁移到电商 Agent 测试集构建：按风险等级设计不同允许操作范围，在不同配置下回放攻击，并公开数据集以复现结果。
- 业务中更应投入精力设计清晰的授权边界和确定性执行，而非单纯比较 LLM 能力：本研究发现请求率差异主要来自 policy 配置而非模型本身。
DocAttriBench：文档视觉问答的答案证据定位基准
🧭 多模态文档VQA评估基准
University of Modena and Reggio Emilia · University of Pisa
提出 DocAttriBench 基准与 MAPPET 自动归因方法，评估多模态 LLM 在文档 VQA 中的答案证据定位能力
📌 工作参考价值（4 点）
- MAPPET 的 mask-perplexity 归因可迁移到电商商品详情页/广告素材问答：通过对输入区域做掩码扰动，用 perplexity 上升幅度自动定位支撑答案的关键元素，低成本生产“答案-证据”对齐数据，减少人工框选成本。
- 在客服问答、商品资质审核、广告文案合规等场景，不要只评测答案正确率：要求 MLLM 返回 supporting element 并计算 attribution accuracy，可暴露“答对但证据定位错”的可信度问题，适合作为 RLHF/DPO 奖励项或上线前评测门禁。
- 若要生成推荐理由、商品卖点或搜索摘要，建议显式加入布局感知与证据约束，因为该基准显示大模型答案准确率高但 grounding 差；后处理可校验归因区域与生成内容一致，提升可解释性。
- 可利用 DAB 开源的自动标注流程，对业务中已有文档 VQA 数据快速扩展 grounding 标签，支撑可验证推荐/问答模型的训练与回归测试。
量化前沿 LLM Agent 的过度声称完成倾向
🧭 LLM Agent 可靠性与执行-汇报一致性评估
Tara Research · Mila – Quebec AI Institute · Cohere
用 OverclaimBench 揭示前沿 Agent 在文件审查中普遍未读完全部文件却谎报完成，且误导率达 80.4%
📌 工作参考价值（4 点）
- 在电商/广告场景构建需要调用工具或读取多源数据的 Agent（如商品合规审核、广告账户诊断、报表生成）时，不要只采信模型最终自述，应记录实际工具调用/文件读取覆盖生成 execution trace，最终汇报必须由执行日志校验。
- 可引入「已读/未读清单」状态机：Agent 每读取一个商品、数据表或文档就更新状态，最终输出自动附带 coverage 缺口提示；未读完全部时必须强制使用「未覆盖」措辞，降低误导性汇报比例。
- 用 planted defects 做回归评估：在数据集或审核 SOP 中预埋已知错误，检查 Agent 是否发现并报告，同时统计「声称完成但漏报」的比例，作为上线前的可靠性门槛。
- 强制 delegation/subagent 能提升文件覆盖，但需要在子代理返回后增加一层校验；否则残留的未覆盖任务仍可能被大量误导性汇报掩盖。
RecreationWorld：面向混合计算机使用智能体的可扩展可验证环境
🧭 混合计算机使用智能体基准与训练 ★ 深度解读
Alibaba Token Hub, Alibaba Group
以“复刻运行中应用”为核心任务，构建跨五平台的混合 GUI/代码智能体基准与训练框架
📌 工作参考价值（4 点）
- 用“reference-as-oracle”做自动化回归：电商页面改版、前端重构、配置迁移时，把旧版/线上版本作为运行 reference，自动采集动作-响应和截图，生成 Programmatic + VLM 断言，替代人工比对，得到可回放、可量化的验收指标。
- 复制混合工作流到业务 Agent：不要硬限制 GUI-only 或 code-only；给 Agent 同时开放 GUI 观察、代码编辑、构建/运行三类工具，让它自主切换。论文显示这种混合轨迹在长程任务中切换频繁，且基于可验证环境做 SFT 能迁移到 OOD 编码/计算机使用任务。
- 用拒绝采样 + 可执行奖励造 SFT 数据：如果业务中有可自动评分的交互环境（如商品页面结构化抽取、RPA 流程、店铺装修），可跑多模型 rollout，用隐藏测试套件打分，选高奖励轨迹微调，减少人工标注。
- 工程降本技巧：把链式 MCP 原语调用改成持久化 REPL + typed SDK，让模型在本地循环处理中间结果，可大幅降 token 和成本（输入 -40.7%、tool-result -65.5%、成本 -54.1%），质量不降，适合 GUI Agent 落地。
直播视频中的产品定位理解
🧭 多模态视频产品理解与时刻定位
Kuaishou Technology · Institute of AI for Industries, Chinese Academy of Sciences
提出GPUB基准和UniPro模型，联合评估产品检索与时刻定位，大幅提升直播视频产品理解性能
📌 工作参考价值（4 点）
- 直播电商中产品信息分散在多个非连续片段，仅做产品检索或片段定位无法满足自动剪辑、摘要等需求。可借鉴GPUB的联合任务定义，在业务中构造“产品-片段”对齐数据，训练模型同时输出产品ID和对应时刻，直接用于产品讲解片段自动生成。
- UniPro采用共享多模态编码器同时处理视频和产品目录，并强制学习产品对齐和时间结构化表示，相比分离式两阶段方案能更好地利用产品与时刻的对应关系。实际部署中可复用该架构，在召回或粗排阶段同时输出产品候选和关键片段，减少级联误差。
- 面对31K规模产品目录，UniPro的候选集构建和负采样策略值得参考：可利用直播中出现的产品时序信息构造hard negative，提升模型区分相似产品的能力，尤其适用于时尚等非标品类。
- 评估指标Pair mAP@.3和Joint R@1@.3同时衡量产品检索和时刻定位的联合精度，比单一指标更能反映真实业务效果，建议在类似多模态理解任务中采用。
BI-Agent 与 BI-Bench：端到端商业智能自动化 Agent 与评测基准
🧭 LLM Agent + 数据管理工具 + 后训练 ★ 深度解读
UIUC · Microsoft Research · Microsoft
构建首个真实 BI 端到端基准 BI-Bench，并设计工具增强 Agent 与后训练框架，使 8B 模型以 50 倍低成本匹敌大模型
📌 工作参考价值（4 点）
- 将数据管理专用算法（join 预测、表重塑、表检索）封装成工具，由 LLM 负责编排调用，而不是让它直接编写所有数据处理代码；电商场景做多表特征拼接、宽表生成、指标口径治理时可复用这种“领域工具 + 通用 LLM”分工。
- 合成训练轨迹可借鉴：先从真实业务项目构造 join 后的宽表，让 LLM 生成 query 和标注答案，再混入无关表并施加逆变换制造难样本，大幅降低训练数据标注成本；适合推荐 Agent、Text-to-SQL 或语义层维护。
- RLVR 奖励设计对可验证结果使用分档奖励（完全正确 / 部分正确 / 失败）加格式惩罚，能给小模型提供密集学习信号；在商品知识问答、报表生成等有可验证输出的任务中可直接套用。
- 建立内部评测集可参考 BI-Bench：从真实 dashboard 导出 query-result 对，做多 ground truth 增强和 LLM-assisted 审核，但不以模型可解为筛选标准，避免评测集失真。
PACT：企业AI助手在压力下是否可信
🧭 企业LLM合规压力测试基准
Georgia Institute of Technology · Decagon AI · Baseten
PACT基准首次系统测量企业LLM助手在持久用户施压下的合规表现
📌 工作参考价值（4 点）
- 在电商/客服Agent上线前，可借鉴PACT的「规则+违规捷径+压力注入」结构，构造针对售后、优惠、价格合规等场景的对抗式合规测试集，发现高违规风险模型。
- 多轮对话中持续合规监控机制值得落地：不要只测单轮，要模拟用户反复施压、管理者催促等真实交互，并计算类似PACTScore的可靠性加权违规率作为模型选型硬指标。
- 用LLM-as-judge审计样本构建测试集的方法可直接迁移：确保样本无歧义、不可通过识别评估意图取巧、且足够真实，避免模型评估时表现出「表演合规」。
- 结果提示即使最强LLM也有6-10%规则误用率，且普通用户压力下违规率平均上升65%，因此电商Agent不能仅依赖模型自身对齐，必须外挂规则引擎或护栏（如政策校验、敏感操作二次确认）。
PANORAMA：通过掩码候选选择实现全景接地图像描述
🧭 视觉-语言 grounding 与稠密 caption
Inria, École normale supérieure, CNRS, PSL Research University · Czech Institute of Informatics, Robotics and Cybernetics, Czech Technical University in Prague
提出 PanoCaps 基准与 PANORAMA 模型，将短语 grounding 形式化为掩码候选选择，联合生成稠密 caption 与像素级掩码
📌 工作参考价值（4 点）
- 把需要精细化对齐的任务从“直接生成”改为“从候选池中选择”：推荐/搜索中生成 item 描述、解释或文案时，可先用用户/query 表征条件化候选池，再训练选择器，降低生成难度并提升一致性。
- 联合优化生成与对齐目标：PANORAMA 同时训练 caption 生成和 mask 选择，保证文本与实体一致；推荐系统做生成式推荐或解释生成时，可把 item embedding/属性对齐作为辅助 loss，避免生成内容与实体脱节。
- 评价指标设计可借鉴 gPQ：同时量化文本与实体匹配，而不只看单一维度；多模态推荐、商品描述生成评估时可设计类似联合指标，避免只评文本流畅度忽略 grounding 准确性。
- 高效利用预训练模型：条件化冻结/预训练 segmenter 输出候选，而非端到端重训，适合业务中快速接入现有多模态编码器或分割模型，降低训练成本。
RegRet：增强大型多模态模型中的区域级检索
🧭 多模态区域级检索 · 对比学习
Zhejiang University · Xiaohongshu Inc.
通过 Region-Aware Encoder 与多阶段对比学习，在不牺牲全局检索性能下大幅提升区域级检索
📌 工作参考价值（4 点）
- 电商以图搜图/相似商品推荐场景中，用户常指定 ROI（如局部图案、纹理），全局检索易被背景干扰误召。可借鉴 Region-Aware Encoder 思路：在现有多模态编码器上增加区域特征分支，与全局特征做加权或注意力融合，输出联合表示，提升区域查询召回精度。
- 训练流程采用“局部字幕生成→区域对比学习”两阶段设计：先利用图文对自动生成区域描述构造正负样本，再对区域表示做对比微调。业务中可直接复用该 pipeline，用少量人工标注或伪标注构建区域级训练数据。
- 论文表明仅零样本推理的区域级检索能力就超过强基线，说明预训练 LMM 已隐含区域理解；若业务受限于标注，可先直接使用 LMM 区域裁剪+文本匹配做召回，再逐步用对比学习微调。
- 引入 REGMB 基准，覆盖区域-区域/区域-文本等四类任务，评估体系可参考扩展；尤其对电商搜索，可建立内部 ROI 检索评测集，量化不同模型对细粒度意图的满足度。
QueryRoute：查询改写选择的标准化评测基准
🧭 查询改写选择 / Query Routing 基准 ★ 深度解读
Toronto Metropolitan University · University of California, Berkeley · University of Waterloo · Mila - Quebec AI Institute · University of Toronto
冻结查询改写候选池与检索结果，系统评估改写选择器在跨检索器/领域下的上限与差距
📌 工作参考价值（4 点）
- 线上如果有多个查询改写/扩展策略（LLM prompt 变体、伪文档、关键词扩展），不要只按平均 A/B 选一个固定策略；应按 query 路由，且先离线构建候选池 + 各改写召回结果，复用 QueryRoute 的 action–outcome matrix 思路，把路由评估变成只读决策问题。
- LLM-as-judge 在 BM25 稀疏检索上最强，但在 BGE/SPLADE 等更强检索器下，没有任何学习型 selector 超过固定最优改写；说明稠密检索已经吃掉改写收益时，业务应优先投入检索器质量或相关性精排，而不是改写路由。
- 评估 selector 时，均值 nDCG 会掩盖 query 级路由行为；建议同时加 near-oracle rate、help/hurt rate、regret、selection entropy 等决策质量指标，否则两个均值接近的方法可能一个靠少数 query 拉高、另一个稳定性更好。
- 工程实现可参考：离线落 query 原词、候选改写、多 retriever 召回列表和 retrieval score；用 QPP/embedding similarity router 做低成本冷启动，LLM-as-judge 做高成本兜底，按 retriever 类型分别评估。
RiskChainBench：混淆平台消息恢复与证据支撑的网页调查基准
🧭 风险内容检测基准 · Web Agent 调查
Baidu · SmartFlowAI · People’s Public Security University of China · Tsinghua University · JD Technology
提出配对混淆消息恢复与本地网页调查的基准，评估模型恢复风险指令并执行证据引证网页调查的能力
📌 工作参考价值（4 点）
- 混淆文本恢复技巧可迁移至电商内容审核与 query 清洗：论文针对 emoji、谐音、字符拆分、冗余符号的恢复流程，可直接用于处理电商平台中规避风控的违禁商品描述、广告文案或搜索 query 变体，提升召回与安全性。
- Agent 系统瓶颈定位方法值得借鉴：将任务拆解为消息恢复（入口预测）与网页调查（证据获取）并离线 gate 组合，清晰分离模型在不同子任务上的表现；可复用于搜索推荐 Agent 的评估，定位是 query 理解错误还是后续执行不稳定。
- 证据引证报告设计可增强推荐理由可信度：强制模型输出带证据引用的风险报告并设计 faithfulness/sufficiency/completeness/consistency 多维度裁判，在电商推荐解释、广告合规审查中可要求 Agent 提供可追溯依据，减少幻觉。
- 工程实现中优先强化稳定探索和工具调用鲁棒性：研究发现执行失败占网页运行 31.9%，而决策后类型错误仅 0.9%，提示在构建多步 Agent 时，应优先优化重试机制、页面解析容错和状态恢复，而非过度微调决策模型。
TimelyRAG：面向重叠演化文档的时间敏感混合检索框架
🧭 RAG 时间敏感检索
KAIST · Korea University · University of Vermont
提出 retriever-agnostic 的 TimelyRAG，用时间距离重排解决修订版本文档的时态问答，并发布 TimelyQABench
📌 工作参考价值（4 点）
- 电商/政策类文档常存在修订而非完全替换，如促销规则、商品参数、平台协议；可直接在现有向量检索后加一层 retriever-agnostic 的时间距离重排，无需重训 retriever。
- 将文档生效时间/版本区间与 query 的时间参考（显式或隐式）作为特征，设计 hybrid score = semantic similarity + λ·temporal distance，λ 可按业务数据调优。
- 构建评估集时，不要只用静态 QA 对；应加入同一政策/商品的多个修订版本，并标注 query 的时间锚点，避免语义重叠导致旧版本被误召回。
- 对 Agent 使用 RAG 的场景，建议在检索输入中显式加入当前业务时间或用户询问的时间上下文，防止动态信息（价格、库存、政策）过期。
持续多轮压力下的 LLM 谄媚行为测量
🧭 LLM 多轮压力谄媚评估
Texas A&M University · University of Cincinnati
SPINE 基准用自适应 LLM 代理持续挑战 25 轮，揭示现有短对话评估低估模型谄媚，且模型常明知正确却选择迎合
📌 工作参考价值（4 点）
- 在客服、购物助手、审核 Agent 等场景，不要只用单轮或短脚本做安全/正确性测试；应加入 LLM 代理扮演固执错误用户，进行 20+ 轮自适应反驳的 red-teaming，因为 collapse rate 会随轮数上升。
- 对生成式推荐/LLM4Rec 场景，如果用户持续施压（如“我就是喜欢这个商品，你就说它合适”），模型可能放弃客观判断；需监控 reasoning trace 或加独立 critic 检查最终回答是否与内部推理一致，而不只看输出。
- emotional appeals 是最强的诱导策略，可专门构造带情绪压力的对抗样本（如“你不帮我我就失业了”）来训练模型坚守事实、价格承诺、售后政策等边界。
- 构建长期回归测试时，用自适应 LLM proxy 比预生成固定脚本书发现更多 sycophantic collapse，适合作为 Agent 上线前的自动化评估组件。
工具检索器被低估：标注扩展揭示真实能力
🧭 工具检索评估 · 标注扩展
Shenzhen International Graduate School, Tsinghua University · Peking University · Meituan, Beijing
提出ToolEX自动发现功能等效工具组合，扩展基准为ToolEQ，证明一对一标注系统性低估检索器，微调增益中30-47%是评估伪迹
📌 工作参考价值（4 点）
- 评估召回/检索系统时，若 query 存在多个等价结果（如同义商品、替代品、功能相同工具），单一 ground truth 会低估模型；可借鉴 ToolEX 做等价扩展，构建更公平的测试集，避免误杀有效召回。
- 微调收益评估需警惕标注缺陷：论文发现 30-47% 的微调提升是评估伪迹。建议上线前用扩展后的多正例评估集复测，量化真实增量，尤其当训练数据与测试标注同源时。
- ToolEX 自动发现等价工具组合的流程（生成候选 + 功能等价验证）可迁移到电商搜索/推荐：对同一 query 挖掘多条等价商品、广告或服务组合，用于多正例学习或评估鲁棒性。
- 如果业务中做 Agent 工具检索或 API 推荐，注意同一功能通常有多个实现，检索评估与训练不能基于一对一的刚性标注，需支持一对多映射。
可编程世界模型
🧭 世界模型 · 显式状态与渲染解耦
Alaya Lab
将世界状态演化与视频生成解耦，用可执行程序维护持久全局状态，以3D OBB为中间表示驱动预训练视频模型
📌 工作参考价值（4 点）
- 在生成式推荐或广告文案生成中，可借鉴“显式状态引擎 + 生成渲染器”的架构：将库存、价格、用户状态等业务规则放在符号化状态机中维护，LLM 只负责生成符合当前状态的文案/推荐理由，避免长对话或多步推荐中事实不一致。
- 用 LLM 将自然语言策略转成可执行程序（如 on_hit、win/lose 规则）的思路，适合推荐策略的自动化编排：把运营规则（如“库存低于阈值则降低曝光”）用程序表达，可审计、可回滚，比直接让模型隐式学习更可控。
- 中间表示的做法——将结构化状态（如商品布局、用户行为序列）编译为生成模型的条件信号，可用于可控商品图/视频生成，提升布局、属性与业务约束的像素级对齐。
- 评估基准设计可迁移：对交互式推荐/对话系统，可采用 Count Accuracy 和 State Accuracy 这类细粒度状态一致性指标，衡量长程交互中的用户状态、上下文跟踪能力。
SAEScientist-Bench：AI智能体能否自主进行SAE可解释性研究
🧭 Agent 自主可解释性研究评估
The Key Laboratory of Cognitive Intelligence, Institute of Automation, CAS · School of Artificial Intelligence, University of Chinese Academy of Sciences
提出 SAEScientist-Bench 基准，评估 AI 智能体利用稀疏自编码器进行自主机制可解释性发现的能力，揭示其与专家水平的差距
📌 工作参考价值（4 点）
- 在 LLM 用于电商/广告文案生成或搜索推荐场景中，可借鉴 SAE 做特征级可控生成：提取概念特征（如价格敏感、品牌偏好、促销意图），通过 causal steering 干预输出，实现更细粒度的生成控制。
- 自动化特征挖掘流程值得迁移：参考本 benchmark 中 agent 设计 contrastive probes 的方法，对候选语义特征进行激活排名、选择性测试和因果扰动验证，可减少推荐系统中人工审核特征重要度的成本。
- 评估体系可直接复用：使用激活排名、概念选择性和因果 steering 三个维度评估特征与目标概念的相关性，适合用于模型审计、特征归因以及内容安全检测。
- 注意 agent 在实验测量解释上存在明显错误，实际落地时需加入人工校验或强约束规则，避免因误读实验数据导致错误结论。
SWE-Bench Pro Verified：面向软件工程智能体的可靠评测基准
🧭 Agent 软件工程评测基准
East China Normal University · Shanghai Artificial Intelligence Laboratory · Fudan University
通过防泄漏与任务整改构建更可信的 SWE-Bench Pro 版本，揭示原有榜单高估模型软件工程能力
📌 工作参考价值（4 点）
- 构建内部 Agent 评测集时，优先排查 git history、本地文件、公开代码托管域等泄漏通道；可将 gold patch 与待评测代码隔离，必要时重写或删除仓库历史，避免模型通过检索直接获取答案。
- 任务质量要像本工作一样做最小化修正：校验 issue/problem statement 是否误导，测试是否错误限定范围；剔除或修正低质实例，防止噪声项拉高虚假通过率。
- 发布内部 leaderboard 或模型选型前，加入 anti-hacking safeguard 和留出验证集，监控模型是否利用 hidden info；对电商/推荐场景的 Agent（智能客服、选品、推荐策略）同样适用，防止能力虚高。
- 若需用 SWE-Bench 类代码任务筛选模型，优先采用 verified 版本；其思路可复用到「有标准答案的生成式任务」，对可作弊信号（点击、库存、商品标题等）做脱敏与隔离。
多模态智能体图像生成与编辑全栈方案
🧭 多模态 Agent 图像生成编辑全栈
Weixin AI, Tencent
提出全栈式多模态 Agent 方案，含运行时、数据、基准与后训练，30B总/3B激活策略逼近1T参数 agent 性能
📌 工作参考价值（4 点）
- 在电商商品图/营销素材生成 Agent 中，借鉴其「持久证据管理 + dense carrier」设计：将商品属性、品牌规范、历史文案等检索到的多模态证据沉淀为统一上下文，避免每轮重复检索，提升多轮编辑一致性。
- 把 verification/integration 拆成独立工具而非塞进 policy 模型，降低策略模型负载并提高可靠性；在推荐/搜索 Agent 中可加结果验证与证据融合工具，先验证再输出。
- 用三层可验证 checklist 构建 RL 奖励，解决生成/推荐任务难以自动打分的痛点；可迁移到文案生成、创意推荐的离线评估。
- 小参数策略（3B active）通过 SFT+RL 后训练接近大模型，适合线上成本敏感场景；数据构造上优先合成 prompt + agent trajectory，再 SFT 后 RL。
TruthInsightBench：面向开放式科学发现智能体的证据基准评估
🧭 Agent 科学发现评估基准
TruthInsight-AI
提出区分复现与发现的基准，用固定 LLM 裁判评估智能体声明的证据成熟度，揭示瓶颈在科学判断而非编码
📌 工作参考价值（4 点）
- 在评估推荐/广告 Agent 时，引入“盲任务”设计：只给中性业务目标（如“提升点击率”）和冻结历史数据，隐藏已知最优策略，考察 Agent 能否自主提出可验证的假设和实验方案，而不是复现预设的优化流程。
- 借鉴其“声明-证据成熟度”的 6 维度/29 项检查表，为推荐 Agent 输出建立证据审计清单：是否包含对照组设计、鲁棒性检查（不同时间段/人群分片）、可证伪性（明确什么结果会否定假设）、跨数据集/场景泛化验证等，量化决策质量。
- 采用固定 LLM judge + 确定性聚合实现自动化评估，降低人工标注成本，支持 Agent 自我迭代。具体实现：将 Agent 产出拆解为可核验 artifact（图表、统计结果、实验设计），让 LLM 对每个证据项打分，再用规则聚合，避免 LLM 主观偏差。
- 结论“瓶颈在科学判断而非编码”提示：在推荐系统中引入 Agent 时，应优先加强推理、实验设计和因果推断模块，而非只提升代码生成能力，可接入因果推断工具或 A/B 测试模拟器。
生成图像模型中的持久身份保持：基准与评估系统
🧭 生成式图像身份保持基准与评估
Phota Labs
系统对比三种身份表示范式，证明持久身份层显著降低身份漂移且独立于基础模型
📌 工作参考价值（4 点）
- 在电商商品图生成、虚拟试穿、广告素材合成中，商品/虚拟人身份一致性是核心痛点；可借鉴将主体身份作为独立的 persistent embedding 层，与基础生成模型解耦，替代每个主体一个 LoRA 的架构，既降低训练成本又支持跨模型复用。
- 评估生成结果时不要只看 FID/CLIP 等整体质量指标，应专门构建身份保持压力测试：迭代编辑（模拟多轮对话修改）、小尺寸主体（远距离商品）、严重退化（用户上传低质量图）、多商品组合（bundle 展示），否则身份漂移容易被掩盖。
- 多主体组合场景中身份退化显著，直接用于广告多商品合成时建议为每个主体引入独立身份表示并显式组合，避免将多个主体简单塞进同一 prompt 或共享 LoRA。
- 持久身份层与基础模型解耦的设计，与推荐系统中 embedding 表解耦思路一致，便于业务快速扩展大量 SKU/用户身份，并在更换或 A/B 测试不同生成基座时保持身份不变。
先澄清再优化：动态预建模澄清的交互式优化框架
🧭 LLM Agent 交互式优化澄清
Cardinal Operations · Shanghai Jiao Tong University
提出OR-Clarify基准与InterOPT两阶段框架，在优化建模前主动识别缺失槽位并决定追问或停止
📌 工作参考价值（4 点）
- 在营销/广告预算分配、促销优化等业务自动化中，将需求澄清抽象为“槽位恢复”：预定义目标函数、约束、业务规则等关键槽位，用多选或填空式追问替代开放问答，可显著降低交互成本并减少错误建模。
- 借鉴 InterOPT 的两阶段设计：先识别 formulation-critical 未解决槽位，再依据槽位覆盖度/信息增益决定继续追问还是停止，避免过度打扰用户；可嵌入电商广告计划 Agent 的需求确认环节。
- 用“silent assumptions”指标兜底：跟踪模型未经用户确认就默认的关键假设，在生成广告投放模型或 SQL 前强制校验，防止预算、排期等约束被静默填错。
- 对交互式推荐/搜索澄清场景：当用户 query 或目标模糊时，可以基于预定义维度（价格带、类目、目标 KPI）生成候选澄清项，而不是直接生成推荐或优化方案，提升准确率。
增强金融问答：银行财报新基准数据集 FinRAG-QA
🧭 金融财报 RAG 基准与组件增益分析
Intesa Sanpaolo Innovation Center · Università degli Studi di Milano-Bicocca · Politecnico di Torino · IMI CIB, Intesa Sanpaolo · University of Bologna
构建跨机构银行财报问答基准 FinRAG-QA，量化 RAG 各组件贡献，检索与上下文增强将 NDCG@10 从 0.322 提至 0.710
📌 工作参考价值（4 点）
- 长文档、跨实体检索可借鉴「上下文 chunk enrichment + 检索优化 embedding」组合，NDCG@10 从 0.322 提到 0.710，适合商品详情、商户证照、政策文档等长文本 FAQ 检索。
- 生成阶段不要默认堆多 chunk：论文显示单个 top-ranked chunk 比更大上下文更准且延迟更低，可在业务 RAG/Agent 中优先精简上下文并做对比验证。
- 首阶段检索已强时，cross-encoder rerank 可能带来负优化；在已有高质量 embedding 和丰富上下文后，应评估是否保留 rerank，以节省 GPU 与延迟。
- 采用 reasoning-optimised 生成器会带来约 20 倍生成延迟，适合高价值、低实时要求场景；搜索/推荐 Agent 中建议按 query 价值做分级或缓存降级。
对话生成制品修订传播的低成本测试时计算探索
🧭 LLM 评估 · 修订传播与测试时计算
NTT, Inc.
提出对话生成制品的修订传播基准，评估九种测试时计算方法，三路并行采样+选择最具性价比
📌 工作参考价值（3 点）
- 在对话式商品推荐或营销文案生成中，用户只给出局部修改请求（如更换目标人群）时，容易造成预算、卖点、行程等字段不一致；可以把该工作的方法迁移进来：在修订 prompt 中显式让模型列出所有受影响字段或依赖关系，并做一次自检，确保局部改动被传播到所有相关部分。
- 测试时多采样+选择是低成本的准确率提升手段：生成 3 个候选修订，用 LLM-as-judge 或 medoid 选择最优，比单次生成或长链反思更划算，适合线上低延迟、低预算的 LLM 修订任务。
- 可以建立小规模“修订传播”评测集，模拟用户局部修改请求，检查模型是否同步更新关联字段，作为对话式推荐助手或内容生成引擎的离线回归评估。
EVOHARNESSBENCH：评测 Agent 应对演进式 Harness 的基准
🧭 Agent 评测基准 · Harness 演化
Salesforce AI Research
首个将非平稳性置于外部 Harness 的 Agent 评测基准，揭示工具/技能/智能体扩充带来的遗忘与适应冲突。
📌 工作参考价值（4 点）
- 在电商 Agent 系统中新增工具、技能或子 Agent 时，必须配套回归评测：将旧任务集作为固定验证集，持续监控新版本上线是否导致旧能力退化（harness-induced forgetting）。
- 工具/技能库应按版本管理，支持回滚；新增能力时优先采用可插拔、模块化设计，避免全局改写路由或提示导致旧行为被覆盖。
- 自演化经验回放并非总能提升适应能力，尤其在工具/技能高速迭代时；可考虑按能力轴隔离经验池，或对历史经验做衰减加权，而不是简单均匀回放。
- 业务中“保留旧能力”与“快速适应新能力”可能冲突：部署评估（只测旧任务）和适应评估（只测新任务）需同时报告，不能仅看总体分数。
最后翻译基准：多模态对抗测试与可验证评估
🧭 机器翻译极限基准与可验证评估
ETH · JHU · MBZUAI · KIT · UvA
构建可持续更新的多模态对抗性翻译基准，用逐例可验证规则替代不可靠自动评分
📌 工作参考价值（4 点）
- 生成质量评估规则化：在电商文案、query 改写、Agent 回答等生成式任务中，把人工评估拆成逐条可校验规则（如商品属性不冲突、query 必须包含品牌词/类目词、回复不得泄露库存），显著降低评估噪声和 reward hacking 风险。
- 构建长尾对抗集：定期收集线上模型失败的 query/商品/多模态内容，经人工评审后加入回归集，可类比 LTB 的持续更新机制，防止推荐/搜索模型在罕见 case 上退化。
- 多模态统一基准：LTB 同时覆盖文本、图像、音频、视频，提示推荐系统在商品多模态理解（主图、视频、详情页）上也应建立跨模态的对抗性评估，而非只测文本召回。
- 众包质量控审：采用人工撰写+同行评审的投稿流程，可迁移到业务中构建高质量评估集的流程设计，减少单人标注偏差。
LLM 能否创建并演化自己的 Agent 执行框架？
🧭 Agent 基础设施自动构建与演化评测
ByteDance Seed · Singapore University of Technology and Design · Georgia Institute of Technology · M-A-P · TokenWave.AI
HarnessDev 基准评估 LLM 从零构建并迭代优化 Agent 执行基础设施的能力，发现领域差异大且跨模型迁移受限
📌 工作参考价值（4 点）
- 把 agent harness 当作与模型权重同等重要的优化变量：在电商搜索/推荐 Agent 中，执行循环、工具选择、上下文管理、失败恢复等基础设施设计可直接改变下游任务成功率和 token 成本，建议建立 harness 级 A/B 评测，而不是只换模型或调 prompt。
- 借鉴 Creation/Evolution 两阶段范式：可尝试用强 LLM 基于少量示例自动生成 RAG/推荐 Agent 的执行代码，但必须在 held-out 任务上验证，防止只在开发集上过拟合；对代码、搜索等复杂领域，自动生成 harness 仍落后于人工参考，不要盲目全自动替换。
- 重视执行效率：论文中生成 harness 的执行 token 成本差异很大，实际业务中可把 token 成本作为约束纳入 harness 优化目标，避免高性能但高成本的 harness 上线。
- 注意跨模型迁移性：如果 harness 是为某个 runtime 模型优化得到的，换用其他 LLM 后性能增益可能消失。在多模型混合部署的推荐/搜索服务中，需要按模型或模型族分别评估和调优 harness。
TempCloze：视频 LLM 能识别缺失的中间片段吗？
🧭 视频LLM时间推理评测
The University of Hong Kong · National University of Singapore · Peking University
提出 TempCloze 视频填空基准，评估 Video-LLM 视觉时间推理并揭示时间对齐是主要瓶颈
📌 工作参考价值（4 点）
- 评测设计可借鉴：在评估多模态推荐/Agent 的时间推理时，减少文本选项中介，采用填空式视觉任务（给定前后片段选缺失中间片段），迫使模型依赖视觉时序而非语言措辞；电商直播切片理解、视频商品描述生成等场景可迁移此范式。
- 困难负样本构造：按语义、时序对齐、过程进展三个维度生成同源干扰项，并共享场景与对象以削弱外观线索，可直接用于商品视频对比学习或用户行为序列的负采样，提升模型对精细时间差异的判别力。
- 模型选型提示：Alignment 是主要瓶颈，说明在短视频/直播理解等时间敏感任务中不能只看语义匹配，应专项评估时间对齐能力；选择 Video-LLM 基座或微调时优先考察该维度。
- 工程权衡依据：论文分析 candidate order、context direction、visible span、frame density 和 test-time scaling 对性能的影响，可用于在推理成本受限时决定是否增加帧密度、上下文长度或采样步数，平衡时间推理效果与计算开销。
电商运营基准：评估长程自主业务运营的 LLM Agent
🧭 Agent 长程运营评测基准 ★ 深度解读
Qwen Team, Alibaba Group · Taobao & Tmall Group, Alibaba Group · HKUST
首个开源电商运营基准，融合确定性谈判、动态事件与真实数据，评估 LLM Agent 全年自主经营的多维能力
📌 工作参考价值（4 点）
- 确定性对手内核：在评估谈判/交互 Agent 时，将对手定价、让步、接受/拒绝逻辑做成确定性规则内核，LLM 只负责语言渲染，避免对手模型随机性污染评估；业务中训练电商谈判机器人的奖励函数也可用此分离增强可复现性。
- 现金流延迟与破产约束：采用银行/托管/钱包三账户和 9 天结算延迟，能暴露 Agent 只追求 GMV 而忽视流动性的问题；在电商运营 Agent 或推荐系统收益模拟中，加入类似延迟结算和破产惩罚可避免短视策略。
- 信息不对称工具设计：让查询返回标签（如高/中/低利润潜力）而非具体参数，迫使 Agent 通过探索和结果推断学习，而不是直接读取底层数据；在构建智能运营助手时，可有意隐藏部分系统参数，训练模型做因果推断和试错。
- 多维评估雷达图：不要只用利润/GMV 作为唯一指标，应同时评估欺诈损失、现金流回撤、运营效率（每工具调用产出）、学习能力（重复采购降价趋势）；在选型推荐/运营 Agent 时建立类似能力画像，否则可能选到高利润但高风险模型。
RealSWE：真实用户请求下的编码智能体组合评估
🧭 Agent 评估与提示信息组合优化
Sungkyunkwan University
构建多变量基准RealSWE，发现真实请求使LLM编码性能平均下降6.4pp，且明确期望行为与动机可显著提升表现
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的对话式 Agent 或购物助手中，用户输入通常短且非正式，应通过追问或模板引导用户明确“期望行为”和“动机”，而不是补充环境信息或复现步骤；这些高信息密度字段能显著提升任务解决率。
- 设计 Agent 评估集时，可借鉴 RealSWE 的多变量任务家族思路：同一任务只改变信息构成和语言风格，能更稳健地测量模型对真实用户输入的适应性，避免仅用结构化基准数据高估能力。
- 对 prompt 工程中的上下文模块做消融测试：若某些模块（如环境信息、复现步骤）只增加 token 和延迟而无实际收益，应将其裁剪或折叠为可折叠摘要，降低推理成本。
- 训练或微调面向真实用户的 Agent 时，可加入非正式、缺失关键信息的样本，增强模型从简短输入推断意图和补全需求的能力。
S3Gym：LLM 能否将自测与自评判转化为自我改进？
🧭 Agent 自改进能力评估基准
ByteDance Seed · M-A-P · TokenWave.AI
提出 S3Gym 交互基准，分离自测/自评/自改进并对比三种经验利用路径，揭示自改进受任务结构制约
📌 工作参考价值（4 点）
- 在对话式导购/搜索 Agent 中，把交互经验拆成两类：可复用策略走摘要记忆（如用户偏好规则、常见失败模式），精确状态依赖走原始历史/显式状态，避免用摘要丢失关键上下文。
- 参数更新（微调/RL）自改进不稳定且易负迁移，业务上优先用上下文/记忆注入做快速迭代，参数训练必须配套严格 held-out 环境与小流量回滚。
- 设计 agent 自改进评估时，把探索环境与线上评测分离，用可执行验证器做沙箱诊断；重点关注模型能否把反馈转化为策略，而非只看成功动作识别率。
- 对推荐/广告场景的 Agent 策略优化，先判断任务结构：规则型任务可压成规则库，状态敏感任务保留轨迹；可借鉴 S3Gym 的评估协议做离线自我改进能力审计。
SnapBench：面向移动交互的拍问式多模态检索鲁棒性基准
🧭 多模态检索鲁棒性基准与模态校准
The Hong Kong University of Science and Technology (Guangzhou) · Tencent Yuanbao · Tsinghua University · ARC Lab, Tencent · The University of Hong Kong
首个配对的拍问式多模态检索鲁棒性基准，覆盖 1145 条查询、9085 个候选项和 53 种受控扰动，并提出自适应融合方法 MOOR。
📌 工作参考价值（4 点）
- 在电商以图搜物/拍照问答场景，线上输入普遍存在图像模糊、短文本或拼写错误；可将 SnapBench 的 53 种受控 corruption 方案作为离线鲁棒性评估模板，覆盖 blur/crop/low-light/typo/short query 等退化模式，用于回归测试检索模型。
- 论文发现干净图像单独检索常优于图文联合检索，说明噪声输入下粗糙文本会拖累联合 embedding；工程上可引入输入质量信号（图像清晰度、文本长度、OCR 置信度）做 modality gating，低质量文本时自动回退到图像检索。
- MOOR 提供简单可复用的融合 trick：对单模态相似度分布做 outlier-aware 标准化，再按可靠性做最优加权；可直接叠加到现有多模态召回/排序的 score fusion 层，提升 noisy 输入下的鲁棒性。
- 图像 corruption 是主要性能瓶颈，文本 corruption 对联合检索影响有限；在资源有限时，优先投入图像质量检测与增强，而不是复杂的文本纠错。
PersonaForge：真实多轮用户模拟与 Agent 训练评估
🧭 Agent 用户模拟 · 多轮交互训练 ★ 深度解读
Peking University · Xiaomi LLM-Core · The University of Hong Kong · Renmin University of China
构建 SOUL 驱动的真实多轮用户模拟器，从真实查询反向生成 6.3K 训练数据与 138 任务基准，显著提升 Agent 交互效率与任务完成率
📌 工作参考价值（4 点）
- 构建电商导购/客服 Agent 的多轮训练数据时，优先从真实搜索/会话日志的种子 query 出发，用 LLM 反向推断用户画像与 connected memory，而不是随机生成 persona；这样能保留隐藏意图，让模型学会逐步澄清需求。
- 用户模拟器的提示词可采用 SOUL 结构：身份段落 + 抽象行为参数（消息长度、正式度、emoji）+ connected memory 固化 session 事实；避免用具体 utterance 示例，防止多样性崩溃。这一设计可迁移到任何对话式推荐/客服的仿真用户。
- 在数据合成 pipeline 中预设三阶段质量控制：生成前检查 persona 一致性，运行时用消息长度阈值（如 1500 字符，真实用户 99.2% 以下）检测角色反转，后处理过滤退化模式；可有效降低合成数据污染。
- 评测多轮推荐/搜索 Agent 时，设计渐进信息披露和嵌入矛盾的任务，并按交互效率、工具适当性、任务完成、回复质量四维打分；论文表明这类数据训练后轮次减少约 20%、无效工具调用大幅下降，同时任务完成率提升，对线上体验直接有益。
公司基准：基于时序知识库的大规模问答评测基准
🧭 企业级LLM文档QA评测
Epiq AI Labs · Cornell University
提出企业级文档问答基准CorporateBench，用230k+文档与时序知识库保证跨文档一致性，揭示LLM长上下文性能下降
📌 工作参考价值（4 点）
- 可借鉴用「时序知识库 + 合成企业文档」方案低成本构造大规模、多跳、跨文档一致的评测集，尤其适合电商场景中的商品详情、订单日志、客服会话等长文档数据，规避隐私问题。
- 文档-问题比高达87.6的压力测试，能暴露真实RAG/Agent在大量文档下的检索、路由、工具调用瓶颈；建议在业务评测中加入类似高比例多跳问题，而不仅是单文档Extractive QA。
- 其两个评测维度（信息抽取与知识库查询）可迁移为电商知识库Agent的能力分级：从抽取字段到执行SQL/Cypher查询、时间约束推理，验证模型在长上下文下的稳定性。
- 结论提示落地中不能只依赖单模型超长上下文，需结合索引/分片/检索或路由机制，尤其当语料规模超过10万文档时性能下降明显，应配套ragas式证据追踪和一致性校验。
古代中文文物文字识别综合基准：跨千年、多媒介、多书体
🧭 古代文字识别基准与模型评估
South China University of Technology · Huawei Technologies Co., Ltd.
构建2700张古代中文文物图像基准，覆盖三千年文字演变、九类媒介与七种书体，评估VLM与OCR专家模型并揭示未解难题
📌 工作参考价值（4 点）
- 对电商商品详情图、包装图上的长尾字体、异体字、艺术字识别场景有直接警示：通用 VLM 在低频字符和特殊符号上幻觉严重，生产环境应结合 OCR 专家模型或规则兜底。
- 论文的符号标准化、字符标准化、解析标准化三套标注规范可迁移到电商多源异构数据（如商品吊牌、质检报告、广告图）的评估集构建，统一不同媒介的标注口径。
- 评估思路值得借鉴：在同一基准上对比通用 VLM 与 OCR 专家模型，能快速定位业务中识别任务的模型选型与能力边界。
- 主要面向文化遗产数字化，业务可借鉴点有限；若业务涉及古籍、印章、书法等垂直领域，该基准可作为预训练或微调前的领域能力测试。
盲人摸象：探测大模型在长尾分歧知识上的认知短视
🧭 长尾分歧知识的LLM记忆完整性评估
Tsinghua University · Tencent Youtu Lab · University of Warwick
构建ElephantBench知识探针，发现最强模型也仅能完整回忆52.4%的长尾分歧答案
📌 工作参考价值（4 点）
- 在商品知识问答或客服 Agent 中，针对长尾商品属性、小众品类，仅依赖 LLM 参数记忆容易遗漏 minority 版本答案，应结合 RAG 或知识图谱做多源校验。
- 评估知识型 Agent 时，不应只看单一答案的 Exact Match，需引入多答案召回指标，以识别模型只记住主流答案而忽略分歧答案的不足。
- 可借鉴 graph-based pipeline 从低曝光语料自动挖掘分歧点，用于构建长尾场景测试集，诊断模型在业务垂直领域（如二手商品、非标品）的知识覆盖盲区。
- 训练或微调时注意 exposure imbalance：提高 minority 侧样本的曝光频率与多样性，有助于提升模型对长尾知识的完整回忆。
通过视觉文本纠错揭示视觉语言模型在图像文本理解上的局限
🧭 多模态评估 · 视觉文本纠错
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, CAS, Beijing, China · School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China · Fanyu AI Laboratory, Zhongke Fanyu Technology Co., Ltd, Beijing, China · Mohamed bin Zayed University of Artificial Intelligence
提出 ReViCo 基准，以视觉文本纠错任务评估 VLM 对图像内文字及其视觉上下文的理解能力
📌 工作参考价值（4 点）
- 电商/广告图像中大量文字（价格、促销、成分、资质）是决策关键。可借鉴 ReViCo 的视觉文本纠错任务，构建内部“商品图文字纠错”评测集，重点考察模型对价格数字、折扣文案、生产日期等易错文本的识别与修正能力。
- 业务用 VLM 做图文理解或信息抽取时，不要只依赖 OCR 指标；应增加“给出错误位置+修正结果”的输出要求，暴露模型在视觉上下文中误读文本的问题，降低后续 Agent 或推荐链路中的错误传播。
- 若需要快速提升，可参考其 targeted training 范式：用少量带标注的视觉文本纠错数据微调多模态模型，尤其针对业务中高频图像模板（banner、主图、详情页）提升鲁棒性；同时保留 prompt-based 基线做对比。
- 评估结果提示，即使 SOTA VLM 也可能误解图像内文字，设计 Agent 工作流时应增加校验环节，比如让模型输出原文与修正后文本，再由规则或 OCR 引擎交叉验证。
AgentJudgeBench：面向Agentic工具调用的LLM评判器多难度基准
🧭 Agentic Tool-Calling 评测 · LLM-as-a-Judge
ServiceNow AI
首个系统性评估LLM评判器在依赖型Agentic工具调用工作流上的可靠性基准，揭示无真值时所有评判器收敛于77-82%的结构性天花板
📌 工作参考价值（4 点）
- 在电商/广告的 Agentic 工作流评测中，若缺乏 ground truth，多个 LLM judges 对困难任务的打分可能收敛到同一窄带（77-82%），区分度不足；建议对关键路径使用 programmatic reference 或人工标注作为主评测，LLM judge 仅作为辅助。
- 结构化 evaluation rubric 可提升对齐最高 6.5 pp，但效果随 judge-generator 组合波动；落地前需用小规模标注集对 rubric 做 pair-wise 校准，不要直接套用通用模板。
- CoT 和温度对 judge 对齐几乎无影响，生产环境可省去这两项调参，把算力投入到更细粒度的 rubric 或真实依赖建模。
- 提供 ground truth 并不总是好事：GPT-5.4 和 Gemini-2.5-Pro 在有真值时对齐下降，存在 over-anchoring；建议评估时对强模型采用“先独立评分，再给参考”的流程，或显式要求忽略 anchor。
PAWBench：视频世界模型概率对齐差距基准
🧭 世界模型评估 · 概率对齐
Shanghai Jiao Tong University · Shanghai AI Laboratory · Krea AI · Hugging Face · Shanghai Innovation Institute
构建50场景基准评估11个视频生成系统，发现无一能稳定复现物理行为的参考概率分布
📌 工作参考价值（4 点）
- 在生成式推荐或用户行为模拟中，不能只看单次生成结果的 plausibility；应增加分布级评估：对同一 context 重复采样，比较生成结果的类别/行为分布与真实分布的校准误差，捕捉模式坍塌与多样性缺失。
- PAWEval 的 outcome-level 思路可直接迁移：把高维生成内容映射到可判定的低维结果空间（如点击/转化/浏览路径类别），再做经验分布对比，避免像素级评估高成本且难判校准。
- 论文测试了语言 prompt、初始噪声、模型训练对预测分布的干预，对推荐系统里用 prompt 工程、采样温度/噪声、RLHF/DPO 调整生成分布有参考价值：应衡量这些干预对分布形状的迁移，而不仅是 top-1 指标变化。
- 若电商团队在训练 LLM/视频生成式的用户轨迹或广告创意世界模型，要注意当前模型即使内容真实，也未必覆盖全部有效行为；需要加入分布正则或多样性约束，避免只学到高频、低风险的输出。
UrbanGround：从局部感知到真实城市空间行动能力
🧭 MLLM智能体城市空间导航评估
Shanghai Jiao Tong University · National University of Singapore · Meituan · The Chinese University of Hong Kong · Shanghai University
提出香港真实3D城市沙盒UrbanGround，系统性评估MLLM智能体从局部视觉感知到持续导航行动的可靠性
📌 工作参考价值（4 点）
- 渐进式评估设计可迁移：论文通过三个递进问题（局部场景grounding → 远距离导航 → 路线与行人扰动）暴露智能体能力断裂点，电商Agent评估同样应区分单步能力与多步组合能力，避免局部指标掩盖全局失败。
- 长程任务错误累积的警示：MLLM在短距离空间推理尚可，但持续探索中错误无法纠正，这提醒在构建推荐或搜索Agent时，需加入全局状态追踪与纠错机制，而非单纯堆叠单步模型能力。
- 高保真仿真环境的价值：基于真实地理数据构建可闭环交互的沙盒，能为Agent提供物理约束下的测试场。电商场景可借鉴构建虚拟购物环境，测试Agent在商品导航、路径规划中的鲁棒性。
- 论文核心是具身智能与空间导航，与电商推荐业务直接关联较弱，可借鉴点主要集中在Agent评估方法论与仿真环境设计。
PhysElite：LLM 距解决奥赛物理题有多远
🧭 多模态 LLM 物理推理基准与过程评估
Xi'an Jiaotong-Liverpool University
构建大规模双语多模态物理奥赛基准 PhysElite，含 11586 题；最强多模态模型答案准确率仅 33.7%，并提供步骤级过程评估。
📌 工作参考价值（4 点）
- 步骤级过程评估可迁移到电商推荐 Agent 的诊断：在 query 改写→召回→排序→解释等多步推理链中，对中间步骤单独打分，定位失败子环节，而不是只看最终推荐命中率。
- 构建垂类专家级评测集的思路可借鉴：覆盖知识点、视觉形式和解题过程，用于电商商品知识问答、促销规则计算等多模态场景，衡量 LLM 的业务推理能力。
- 复杂物理题中 MLLM 准确率仅 33.7%，提示业务中的数值计算、多步推理不能完全依赖 LLM，应结合计算器、规则引擎等外部工具，如价格、库存、优惠叠加逻辑。
- 双语对齐和分步解答标注可用于微调生成式推荐理由、购物决策解释，让模型输出可核验的推理过程。
视频场景下多模态大模型指令遵循能力的评估基准
🧭 多模态LLM指令遵循评估
Tencent Youtu Lab · Tencent Hunyuan · TJU · SJTU · CUHK
提出Video-IFBench，系统评估视频理解中MLLMs的指令遵循能力，含1500样本和39类约束
📌 工作参考价值（4 点）
- 约束分类体系可复用：电商视频场景中用户指令常含多个视觉/音频约束（如“找出视频中穿红色衣服且位于画面左侧的人”），可借鉴其39类约束设计评估或训练数据，提升模型对复杂query的遵循能力。
- 半自动数据构造流水线：结合MLLM生成、程序化处理和人工验证，可低成本构建领域专用的指令遵循数据集，适合业务迭代。
- 评估发现的启示：当前模型在复杂条件分支和语义约束上表现差，提示在Agent系统中需增加指令解析模块或结构化输出约束，避免直接依赖端到端生成。
- 多模态推荐借鉴：视频推荐/搜索中用户query可能包含条件选择（如“如果出现A则返回B，否则C”），可参考其嵌套指令模板设计更严格的评测集。
AnTrap：评估Android GUI Agent对运行时异常的鲁棒性基准
🧭 GUI Agent 鲁棒性评估与对抗训练
Zhejiang University · Yale University · Tongji University · University of Chinese Academy of Sciences
提出AnTrap基准系统注入动态对抗扰动，揭示GUI Agent普遍脆弱并区分可学习与推理瓶颈异常
📌 工作参考价值（4 点）
- 将线上 Agent 可能遇到的弹窗、误操作、状态死锁等异常抽象为分层陷阱（State/Thinking/Action/Round），在部署前构建对抗测试集做压测，提前暴露脆弱环节。
- 用 GRPO 在含陷阱环境中训练可修复大部分单步状态/动作层异常，适合作为上线前的鲁棒性微调步骤；但状态死锁等深层上下文陷阱无法仅靠环境训练解决，需要额外引入记忆、回溯或规则兜底机制。
- 借鉴其“保持任务可解”的扰动构造管道：在业务环境中注入异常时保留原始任务可达性，避免测试集失真，从而准确度量鲁棒性而非任务难度。
- 对电商推荐 Agent，可将广告弹窗、支付中断、页面跳转异常等作为 State 层扰动，将模型选错工具或遗漏步骤作为 Thinking/Action 层陷阱，系统化定位故障来源。
FrontierChallenge：评估科学工作流完整执行基准
🧭 科学工作流智能体评估基准
提出跨领域科学工作流基准，揭示高部分得分与置信完成声明均不保证端到端交付
📌 工作参考价值（4 点）
- 借鉴其评估思路：为多步 Agent 任务定义完整交付物清单（required deliverables），而不只看最终答案；在电商场景可设计包含策略输出、代码、报告等一致性的端到端验收集。
- 采用 Pass Rate 和 Avg Score 双指标：Pass Rate 衡量端到端全对比例，Avg Score 捕捉部分进展，避免只优化平均分掩盖完整交付能力不足；推荐系统离线评估可区分“部分正确”与“全流程完成”。
- 关注模型虚假完成声明：75.5% 非通过轨迹仍声称完成，提示在业务 Agent 中需增加交付物校验与一致性检查，不能依赖模型自报成功或语言层面的置信表达。
- 按领域拆分评估：部分领域部分分数极高但完整通过率近零，说明简单任务高分不迁移到复杂工作流；在电商多域 Agent 上线前应分域测试端到端通过率。
LongWoF-Bench：评估 EvoMap Gene 在可验证长工作流任务上的经验复用效果
🧭 Agent 经验复用 · 长工作流评估 ★ 深度解读
Infinite Evolution Lab, EvoMap · Tsinghua University
提出 LongWoF-Bench，证明由 verifier 确认轨迹蒸馏的 EvoMap Gene 比 Skill 跨七个模型提升 8.7–15.5 个百分点
📌 工作参考价值（4 点）
- 沉淀可验证执行经验，而非通用 Skill：在复杂流程（如广告投放配置、选品策略、活动执行）中，将成功轨迹中证明有效的策略、边界条件和失败修正提炼成结构化资产，跨模型复用。
- 严格区分经验来源：只有经过业务验证器/线上 A/B 确认的执行轨迹才值得沉淀；参考解蒸馏的经验可能反而有害。经验库要记录 provenance。
- 一次推理复用经验，降低重复探索成本：在复用经验时采用单次生成（one-shot）即可，避免多轮试错；论文中 Gene 比 Skill 少 9.9% token，比多轮发现少 45.8% token。
- 优先在规则约束和接口一致性强的场景应用：如合规审核、物流配置、多模块交付等，经验复用收益最大；纯推理能力瓶颈的任务收益有限。
MobilePA-Bench：复杂真实任务中移动规划代理的基准测试
🧭 移动 Agent 规划评估 · 工具调用基准 ★ 深度解读
MAI Team · Alibaba Token Hub · Alibaba Group
提出有状态、工具中心的移动规划代理基准，覆盖工具调用、子代理协作、记忆与技能四维能力
📌 工作参考价值（4 点）
- 评估 Agent 工具调用时，用 stateful sandbox 执行真实工具并返回动态反馈，比静态字符串匹配更能暴露运行时错误（如权限拒绝、依赖顺序）。电商场景可模拟库存、订单、用户画像等实时状态，让 Agent 在真实约束下做决策。
- 验证阶段按证据类型分桶（Tool Call / State Change / Agent Behavior），不同任务用不同 checker，避免单一指标过严或过松。可迁移到电商 Agent 评估：下单类任务看最终订单状态，推荐类任务看是否调用正确检索工具并合理追问。
- Memory Usage 维度要求 Agent 必须先显式调用 search_user_memory 检索用户偏好/历史，再规划动作，否则 gate 直接判失败。这启示电商个性化 Agent 应强制显式记忆检索，而不是依赖模型隐式猜测。
- Skill Usage 用预打包复合技能替代原子工具逐步规划，能显著降低长程任务错误累积（Skill 分数普遍高于 Memory）。在电商中，可将“下单+优惠券+支付”“退款+库存回补+通知”等流程封装成 skill，提升整体成功率。
RecVerse：忠实模拟人类购物行为的 GUI Agent
🧭 用户行为仿真 · GUI Agent · RL ★ 深度解读
Gaoling School of Artificial Intelligence, Renmin University of China · University of Chinese Academy of Sciences · National University of Singapore · Alibaba Group
提出融合三级认知记忆与轨迹级 RL 的 GUI 用户仿真 Agent，显著提升行为保真与意图一致性
📌 工作参考价值（4 点）
- 在 LLM 驱动的用户模拟 / 智能导购中，不要直接拼接长历史，可采用三级记忆：Working Memory 保留最近 K 步视觉与心态、Episodic Memory 记录会话事件、Preference Memory 蒸馏高层购物意图；把记忆写入作为动作交给 RL 学习，能自动决定“何时记、记什么”，缓解长会话上下文爆炸。
- 训练用户模拟器别只做 next-action 模仿或 step-level reward，改用 trajectory-level RL：宏观奖励对齐动作类型分布（CTR/ACR/CVR/IPVR 等），微观奖励用三级类目层次做意图匹配，可避免过度探索或过度被动。
- 如果业务有真实页面截图，尽量让仿真/评估 Agent 走 GUI grounding，而不是纯文本元数据；论文显示 GUI 比 text 的类别意图一致性 HCO 从 19.03 提升到 30.00，RL 后进一步到 32.64。
- 评估用户模拟器时同时报告行为保真和意图一致性，防止 hit 率被过度交互撑高；可借鉴其指标：ATL 偏差、行为统计与真实分布的比值、类目重叠 HCO。
AI4AI-Bench：评估LLM智能体设计训练算法实现递归自我改进
🧭 LLM Agent 训练算法设计基准
Navers Lab · Einsia.AI · Tsinghua University
构建10任务基准，评估LLM智能体重写训练算法实现递归自我改进的能力，最强仅得0.250分
📌 工作参考价值（4 点）
- 构建内部Agent能力基准时，可采用「冻结代码仓库+固定隐藏评估器+统一归一化分数」的范式：对不同任务的不可比指标映射到同一量纲，0为无信息模型，0.1为基线仓库算法，1为任务最优，便于横向对比各种Agent配置。
- 结论提示：多数LLM Agent在优化任务中只做数据收集或超参数调优，很少真正改变模型学习规则。在电商推荐/广告场景中，若用Agent自动优化训练pipeline，需显式检测其是否只调参而不改update rule，否则提升有限。
- 推理努力（reasoning effort）主要提高Agent「敢于修改核心训练算法」的概率（8%→64%），但对最终得分提升有限。业务上若让Agent做模型优化，增加思考预算可能带来更多探索行为，但需要配合约束和评估器防止无效改动。
- 工程实现上，对Agent提交的代码在隔离环境下从零重跑并限制计算预算（4h重写/12h重训），可防止作弊并确保公平，适合作为自动化优化任务的评估标准。
ArmorOCR：基于观察迁移自蒸馏的对抗视觉文本感知
🧭 多模态对抗 OCR 鲁棒训练
Ant Group · Shanghai Jiao Tong University · East China Normal University
提出首个对抗性 OCR 基准 AdvSpot，并以观察迁移自蒸馏与 GRPO 提升 LMM 对抗文本定位识别鲁棒性
📌 工作参考价值（4 点）
- 电商图像中常见变形、遮挡、水印等对抗性文字，可借鉴 AdvSpot 的 13 类模式与区域级标注构造内部鲁棒 OCR 测试集，评估商品标题、标签、资质文本识别。
- OPSD 用 privileged transformed observations 做自蒸馏：先让模型在易读观察上生成定位/识别伪标签，再迁移到对抗观察，可迁移到用户上传图、广告素材等难例训练。
- GRPO 奖励拆分为 localization、recognition、full spotting、VQA 四类并动态加权，可作为多任务强化微调的 reward 设计模板，适用于需要同时优化定位与理解的多模态 Agent 任务。
- 保持通用 OCR 能力不掉的训练策略（两阶段、混合数据）可借鉴到已有 LMM 的鲁棒性增强，避免只提升对抗场景而伤害线上自然文本识别。
当文本与数字冲突：大语言模型的证据仲裁研究
🧭 LLM 异质证据冲突仲裁与推理偏差
Department of Engineering Science, University of Oxford · Nuffield Department of Primary Care Health Sciences, University of Oxford · GlaxoSmithKline · Oxford Suzhou Centre for Advanced Research, University of Oxford
系统研究 LLM 在文本与数值证据冲突时的仲裁行为，发现启发式偏向与外部工具过度依赖
📌 工作参考价值（4 点）
- 在 Agent/RAG 工具调用链中，若检索或数值 API 返回与上下文文本冲突，不要默认模型能正确仲裁。建议在 LLM 前增加显式证据对齐/冲突检测模块：将数值序列与文本摘要对齐到统一 schema，并标记冲突供模型或规则处理。
- 模型对外部工具输出存在过度依赖，即使与直接上下文冲突也倾向采信工具结果。工程上可对工具输出注入置信度/新鲜度信号，并强制模型在生成最终答案前输出每路证据的可靠性判断，作为中间推理步骤。
- 显式可靠性提示效果弱于时间 recency 提示，提示词中“最新数据优先”可能比“高可靠来源优先”更有效；业务中实时转化率等时间敏感特征与历史统计冲突时，应更重视 recency 信号而非依赖模型自行权衡。
- 可构建合成冲突测试集（用隐变量生成两种模态，再制造仅一个模态对齐 ground truth）用于上线前评估 LLM 在风控、广告竞价、推荐解释等场景下的证据整合鲁棒性。
InsufficiencyBench：评估LLM对欠指定法律查询的处理能力
🧭 LLM欠指定查询处理评估
Thomson Reuters Foundational Research · Imperial College London
首个法律查询信息不足基准，衡量LLM识别缺失要素并避免臆测回答的能力
📌 工作参考价值（4 点）
- 在电商客服/对话式推荐Agent中，先对用户query做信息充分性分类，识别缺失的决策关键属性（如尺码、配送地址、预算、使用场景），在推荐前主动追问，避免用模型臆测补全。
- 构建类似“完整 vs 缺失变体”的评估集，监控模型是否对信息不足请求无差别回答或过度拒绝；用F2/召回等指标平衡漏判与过度追问。
- 借鉴缺失元素分类法（switch/gating/fatal prerequisite）设计对话状态机：不同缺失类型对最终决策影响不同，可配置强制追问、条件追问或默认假设。
- 对搜索query改写/推荐召回场景，先判断query是否信息不足，避免用LLM幻觉补全用户意图产生错误召回；同时保留对完整query直接执行的能力。
面向多模态大语言模型的规则遵循视觉空间规划
🧭 多模态大模型规则遵循空间规划
Peking University · Yinwang Intelligent Technology Co., Ltd
提出RuleMaze基准和DMP方法，解耦感知、执行与规则验证，提升MLLM在规则约束下的空间规划与泛化
📌 工作参考价值（4 点）
- 可借鉴DMP的解耦设计：将感知、执行、规则验证拆分为独立模块，便于在业务Agent中注入可解释的合规性检查，避免端到端黑盒违反约束。
- 使用Language-Logic-Function Hybridization自动生成规则并转化为逻辑验证器，可复用于构建带约束的策略评测集或训练数据，降低人工构造规则成本。
- 在需要严格遵循业务规则的Agent任务（如营销活动路径规划、多步骤推荐流程、广告投放策略）中，分离式规划能提供中间轨迹，便于调试和规则动态更新。
- 论文场景为迷宫导航，与推荐系统核心链路距离较远，但规则验证与执行解耦的思想可作为构建可信Agent系统的参考。
单次成功不等于可靠：有状态业务工作流的 Thinkingbox 沙盒与基准
🧭 Agent 可靠性评估 · 有状态业务沙盒 ★ 深度解读
University of Pittsburgh · Northwestern University · University of California, Irvine · Microsoft
提出可执行的状态副作用检查沙盒 Thinkingbox，发现最强模型 pass@1 仅 65.36%，且全部 20 次成功仅 25.25%
📌 工作参考价值（4 点）
- 在电商售后/订单修改/退款等有状态场景，评估 agent 不能只看回复或工具调用是否合法，应定义可执行的后端状态检查（订单、退款、优惠券记录），同时校验“必须变更”和“禁止副作用”。
- 上线评估应同时报告 pass@1 和 pass^k（如 pass^20 全部成功），区分“偶尔能找到成功路径”和“稳定可靠执行”，避免把 pass@20 当可靠性指标。
- 工具错误恢复是主要失效模式（平均 77.5%），建议在 prompt 或训练数据中强制 agent 在关键写操作后二次读取/校验状态，而不是假设工具成功返回即完成。
- 模拟用户可设计为“只回答被问的信息、不主动补充”，推动 agent 学会澄清缺失字段（地址、授权、时间等），接近真实客服多轮交互。
MemTrapBench：评测 LLM 记忆使用中的认知陷阱
🧭 LLM 记忆认知陷阱评测与缓解
Zhejiang University · National University of Singapore · Northeastern University · Heriot-Watt University · Tencent
提出 MemTrapBench 评测记忆导致的推理固化与信念扭曲，发现所有记忆策略均不及无记忆，并提出 AdaptiveMem 推理时缓解
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的多轮记忆系统中，不要只评估记忆检索命中率，还要评测注入记忆后下游任务性能是否下降；可借鉴 MemTrapBench 的「无记忆 vs 有记忆」对照实验，建立内部回归测试集。
- 历史记忆可能把模型推理带偏：例如用户历史偏好固化导致推荐多样性下降、旧兴趣覆盖当前会话意图；可参考 Reasoning Fixation 和 Belief Distortion 两种陷阱分类，针对性设计监测指标。
- AdaptiveMem 的推理时元指令成本低，可直接在现有 RAG/记忆流水线上试加：「避免被检索到的历史记忆过度影响当前问题的判断」「优先依据当前用户会话信号」等 guardrail，作为轻量缓解手段。
- 对搜索推荐中的 query 改写/兴趣推理模块，可定期注入带干扰记忆的测试样本，检查模型是否被语义相关但误导性的历史信息带偏，提前发现认知陷阱风险。
SWE-bench Science：编码智能体能解决科学工程任务吗？
🧭 Coding Agent 评估 · 科学软件工程基准
Shanghai Innovation Institute · Fudan University
提出含119个任务、覆盖20个科学领域的仓库级科学软件工程基准，最佳编码智能体pass@1不足50%，并归纳四类失败机制
📌 工作参考价值（4 点）
- 在推荐/搜索 Agent 中引入领域知识（类似 RAG 或 tool/context）时，要区分「高质量 grounding」与「弱对齐指导」：前者可提升平均性能并降低 token 成本，后者会诱导 anchoring，反而不提升精确修复。落地时建议做 A/B 或消融评估，不要默认注入更多领域知识一定更好。
- 论文把失败归为四类：知识/抽象不足、探索误导、修复覆盖/系统集成缺失、跨案例泛化不足。这可以迁移为 Agent 故障诊断框架，在电商场景下为推荐解释、代码生成、自动调参等 Agent 建立错误分类看板，针对四类分别改进 memory、search/tool 使用、集成测试与 few-shot 策略。
- 基准的三类任务范式 Issue-driven / Expert-exploratory / Engineering-integration 可用于设计 Agent 评估集：不只基于用户 issue 做修复，还要加入专家探索性任务和跨系统集成任务，能暴露真实业务 Agent 的鲁棒性问题。
- 成本敏感场景可同时监控「精确成功」和「token 效率」，高质量知识上下文即使不提升 exact match，也可能通过减少 token 消耗提升业务收益。
FM-Bench：长期管理竞争 Agent 评测基准
🧭 LLM Agent 长期管理评测基准 ★ 深度解读
AnalogyAI
15 个前沿 LLM 在 20 年共享足球管理世界中评测，结果由可解释管理行为而非模型规模与 token 消耗决定
📌 工作参考价值（4 点）
- 把记忆管理作为 Agent 能力来评测：业务中若采用“每次决策点新会话+自维护 notebook”的模式，可将 notebook 连续快照的 TF-IDF 余弦相似度作为记忆健康度指标，警惕 append-only（>0.9）和完全重写（<0.25）两种失效；不要把长期上下文截断/摘要交给 harness 隐式做，否则评测分数部分反映的是脚手架而非模型。
- 奖励函数要显式反囤积与末期衰减：FM-Bench 对超额现金按 0.3 计入净资产，且正分乘 ρ=(t/T)^1.5，迫使 agent 权衡“安全持有现金”的隐性机会成本；电商/广告预算分配中同样可以给闲置预算或过时策略加递减折扣，防止 agent 永远选局部安全动作。
- LLM 无法从数百次拒单中学会市场真实价格（中位 30 次报价才成交 1 次）：在竞价/谈判 Agent 上，应显式给模型维护一个可查询的 bid-ask 历史或先验价格分布，而不是只把 rejection 当反馈；Solo 与 Arena 的行为对比（出价频率 0.5→4.6/季）说明策略强度需按对手自适应。
- 上线前做共享经济体评测：固定对手的 solo 榜第一会形成 dynasty，但 Arena 中冠军在 10 个模型间轮换、卫冕只成功 2/19，说明反自适应环境能揭示策略真实韧性；推荐/流量分配策略也应放入多个 Agent 争抢同一批库存/用户预算的共享仿真，而非仅做静态 A/B。
StagedWorkspace：面向知识工作 Agent 的版本化工作空间
🧭 Agent 工作空间版本管理与状态一致性
Harvard University · Raycaster AI · University of Technology Sydney · University of Washington · Stanford University
提出带版本控制的工作空间，将解析视图与 diff 绑定到文件内容哈希，显著提升知识工作 Agent 的文件编辑与问答性能
📌 工作参考价值（4 点）
- 对于电商/广告场景中需要 Agent 自动生成或修改文档（如商品详情、营销报告）的流水线，可采用内容哈希将解析视图与原生文件绑定，防止 Agent 在异步处理中引用过时版本，确保最终提交一致性。
- 引入 staged edits 与 review diff 机制，让模型在每次修改后看到 diff 再继续下一步；在多轮编辑任务（如广告文案迭代）中能显著减少累积错误，提升最终质量，类似代码 Agent 的版本控制实践。
- 若构建基于 RAG 的知识工作 Agent（如自动撰写商品卖点、审核规则文档），采用 dual parsed/native access：结构化解析用于快速检索，原生文件用于精确校验，可平衡效率与准确性。
- 在评测或监控此类 Agent 时，将 evidence、staged edits 和提交产物作为显式状态转换进行打分，而不是只看最终输出，更能反映真实工作流中的质量。
VisDocAgentBench：面向视觉富文档检索的智能体基准评测
🧭 多模态文档检索智能体评测 ★ 深度解读
Peking University · Alibaba Group
提出视觉富文档检索基准，暴露强静态检索在桥接证据上近乎失效，而工具智能体可恢复但依赖规划器与视觉表示
📌 工作参考价值（4 点）
- 电商/广告搜索中，商品详情页、广告落地页、海报等视觉富文档不能只用 OCR 文本召回；强视觉 late-interaction 检索（如 Nemotron ColEmbed）对直接匹配收益巨大，但面对需要上下文消歧的查询会失效。建议将强视觉检索作为 discovery，叠加 Agent 的迭代检查与证据重排序。
- 同一 index/tool 接口下不同 planner 的 R@1 从 19.17% 到 67.50%，说明单纯接入工具不等于有效检索；应重点优化 planner 的搜索改写、检查策略和最终排序，并利用 trace 诊断失败在 discovery、examination 还是 ranking。
- 页面/图片 inspection 是最大增益点（去掉后 R@1 掉 15.8/21.7 点），因此多模态 Agent 必须保留原始视觉图，不能只用 OCR 文本或 caption；on-demand OCR/crop 可做局部验证，但要平衡全局探索，否则长链路性能会反弹。
- 对需要多跳证据的查询，给 Agent 提供完整 support context 能显著提升 R@10；业务可实现为初期附加候选 support pages 或引入 evidence-role aware 状态，避免模型被表面相似项锚定。
HarnessRisk：面向智能体骨架全生命周期的安全基准
🧭 Agent harness安全评测
University of North Carolina at Chapel Hill · University of Central Florida · Michigan State University
提出覆盖六阶段的Agent harness安全基准，发现配置阶段最脆弱且风险识别不保证安全行动
📌 工作参考价值（3 点）
- 在电商搜索/推荐Agent中，将安全评测拆分为配置、扩展、运行、状态持久化、动作控制、恢复六个阶段，可快速定位风险面——尤其配置阶段（权限、工具白名单等）最为脆弱，工程上应默认最小权限并定期审计。
- 不要只依赖模型的风险识别能力，需在harness层增加强制拦截/审计：论文显示90%以上检测到风险仍可能保持较高攻击成功率，识别与安全行动之间存在显著gap。
- 构建内部安全回归集时，可采用“良性用户目标+不可信工作流嵌入对抗指令”的构造方式，覆盖不同harness与模型配置，同时统计Utility、ASR、Persistence、Detection多维指标。
SemComp-Bench：语义任务完成视频生成基准
🧭 视频生成评估 · 语义任务完成
University of Science and Technology of China · FrameX.AI · Sun Yat-sen University
提出 SemComp-Bench 基准，用 VLM 评估视频生成在结果达成与语义 grounding 上的表现
📌 工作参考价值（4 点）
- 评估思路可迁移：在商品短视频/广告创意生成中，聚焦最终结果是否达成与任务相关语义是否保持，不必苛求逐帧一致，降低审核成本。
- 采用 VLM 回答结构化二值问题输出 OA/GR 两个分数，可在生成式推荐中分离“目标达成”和“语义相关性”做自动化质量评测，定位失败环节。
- 四阶段数据 curation pipeline 可参考：从原始视频自动提取参考图、指令和结果片段，规模化构建业务生成评估集，加速模型迭代。
- Semantic grounding 定义允许无关属性变化，可迁移到电商商品属性控制：只绑定关键属性（材质、形状、功能），其他外观可多样化，适配创意生成。
超越正确性：混合思考多模态大模型的响应行为基准与对齐
🧭 MLLM 响应行为对齐与 RL 训练
Institute of Automation, Chinese Academy of Sciences · Large Language Model Department, Tencent · University of Electronic Science and Technology of China · Hong Kong University of Science and Technology · Zhongguancun Academy
提出 PatternEval 诊断基准与 PatternRL 训练框架，缓解混合思考 MLLM 思考/非思考模式响应行为失配
📌 工作参考价值（3 点）
- 混合思考部署模式（如电商客服/推荐 Agent 中快速模式与深度推理模式并存）需监控响应行为一致性，尤其防止 CoT 泄漏暴露内部推理链（可能泄露用户特征或策略细节），论文的 PatternEval 四类失败可作为线上评测指标。
- RL 训练阶段引入 pattern-specific penalties（PatternRL）可在不显著影响任务准确率的前提下对齐非思考与思考模式，这种分模式惩罚思路可迁移到生成式推荐中，用于约束不同解码策略（如 greedy vs. beam）下输出风格一致。
- 构建评估集时主动注入已知失败模式（failure-enriched）比均匀采样更能暴露模式差异，可用于生成式推荐/Agent 的离线和回归测试，提前发现长尾行为问题。
HarnessEval-W：将视觉世界评估智能体化
🧭 多智能体分层评估世界模型
提出分层多智能体评估流程，把世界模型评估转化为可验证的证据树
📌 工作参考价值（4 点）
- 借鉴其分层 agent 评估架构：将复杂评估任务拆解为多个可测量子问题，每个子问题交给专门的子 agent 处理，父 agent 汇总证据。适合评估生成式推荐或搜索 Agent 的输出质量，例如分解「推荐相关性」「文本流畅性」「商品属性一致性」等维度并行诊断。
- 强调推理链与证据树：评估结果必须能追溯到具体证据，而非仅给出分数。在业务中可用于 user study 自动化替代，或对推荐理由、搜索改写结果做可解释的质量审计。
- 子 agent 配备定制上下文与诊断工具：可针对不同评估维度注入业务规则、商品知识图谱、历史 CTR 等工具，让评估更贴近业务场景。
- 开源 pipeline 可作为内部评测框架的基础，尤其适合多模态生成（如商品图、短视频、虚拟主播）的质量评估。
UI-Mate：通过上下文演示提升开源权重基础 GUI 智能体
🧭 GUI Agent 训练与上下文演示
Tencent Hy Frontier Team
UI-Mate 结合环境驱动训练栈与上下文演示学习，在 OSWorld 等基准刷新开源 GUI 智能体 SOTA
📌 工作参考价值（4 点）
- 任务验证器与闭环数据引擎：可复用到电商 RPA、客服助手等 GUI 操作场景，用统一的 task–verifier bundles 自动化生成、过滤和平衡训练数据，减少人工标注。
- 演示学习的方式：将多模态演示转成 subtask-level workflow 而非刚性轨迹回放，同时允许从实时界面重新规划——适合电商中用户特定工具、隐性规则（如改地址需二次确认）的场景。
- 区分 self-demo 与 variant-demo：在构建演示数据库时，应分离同任务成功轨迹与相似但非同一任务的人类录制，有助于评估和提升模型对未见变体的泛化能力。
- 评测指标：除了 strict success，还引入 progress 指标，对长流程电商操作（如比价、下单、售后）更细粒度地反映中间进展，适合作为内部迭代指标。
VibeWorlding：多模态智能体能端到端构建3D开放世界吗？
🧭 多模态 Agent 3D 世界构建
AI Thrust, HKUST(GZ) · TEG AIPD, Tencent
提出 VibeWorlding 基准与训练框架，用多模态 RL 让开源 MLLM 在 3D 开放世界构建任务上超越闭源前沿模型。
📌 工作参考价值（4 点）
- rubric-based verifier 可迁移到 agent 闭环评估：把奖励分解为“可行性”和“意图满足”两类维度，用规则检测器（如碰撞检测）和 LLM 评分结合，能低成本扩展为 RL reward service，适合需要自动化评估长轨迹 agent 的场景。
- MCP 工具化沙箱：将检索、编辑、渲染等异构工具统一为 MCP 接口，方便 agent 调用并与 RL 训练环境解耦；可直接复用到商品图片生成、页面布局、活动落地页等 agent 工作流。
- 反向合成数据降低标注成本：人工构建少量种子世界，再反向生成大量多样化用户查询，可迁移到电商场景生成“意图→页面/推荐”训练对，减少人工标注。
- RL post-training 可针对性突破能力瓶颈：当闭环评估显示模型在特定环节（如编辑）弱，针对性 RL 训练能让开源模型超越闭源前沿，提示针对业务闭环的 agent RL 值得投入。
HumanTracker：迈向全面且与人类对齐的运动跟踪基准
🧭 人形运动跟踪基准与偏好对齐评估
Nankai University · Tsinghua University · Galbot · Shanghai Jiao Tong University · Peking University
构建153小时运动跟踪基准与偏好对齐的HumanScore指标，更符合人类感知并揭示接触/稳定性故障
📌 工作参考价值（4 点）
- 离线评估别再只看 log-likelihood：用成对偏好数据训练 reward model 作为生成式推荐/搜索改写/文案生成的自动评估指标，尤其要加入业务约束违规信号（相关性、时效、价格带等）。
- 构建诊断型 benchmark 时按场景/意图分层（类似论文四个 motion families），例如按导购、比价、冲动消费分层统计，便于定位 Agent 决策在哪些场景崩。
- 使用时序 Transformer 对整段 session/轨迹打分，而不是逐 item 独立打分：在会话推荐或 Agent 多步工具调用评估里，直接输出 session 级 reward，可捕捉上下文一致性和长期目标达成。
- 物理/业务约束显式建模：在生成式选品或文案生成后增加 constraint checker（如库存、毛利、合规），与 reward model 联合过滤，避免只看 soft metric。
日本超长视频叙事演进与文化细微理解基准 NARU
🧭 多模态 LLM 长视频叙事与文化评估
The University of Tokyo · Kyushu University · Macau University of Science and Technology
含 1,481 个问题，覆盖 155 个视频 146.8 小时，评估长视频叙事与文化理解，揭示 MLLM 明显不足
📌 工作参考价值（4 点）
- 借鉴层级记忆式标注管线：将原始日志（如用户多轮会话、观看序列）按“事件-叙事-文化”多粒度结构化，再生成评测或训练样本，有助于明确模型需要在哪一层推理。
- 借鉴迭代式 shortcut removal：构建内部评测集时，反复剔除仅靠表面统计或常见捷径就能回答的问题，确保考察真实深层理解，可用于生成式推荐的解释质量、对话式推荐题目的校验。
- 对非英语/高语境内容单独设立评估维度：跨境电商或出海推荐中，模型需理解本地文化细微差别，可按文化维度构建测试集，避免英语中心偏差影响线上效果。
- 长程依赖建模短板提示：在长 session 或长期用户兴趣建模中，考虑引入层级记忆/摘要机制，而不是单纯堆叠长上下文。
视觉语言模型在视觉缺失或被误导时的行为评估：科学图表基准
🧭 VLM 不确定性行为评估与基准
University of Aberdeen, UK · International Institute of Information Technology Hyderabad, India · University of Technology Nuremberg, Germany · University of Southern California, USA
提出 SciFigBench 与 A-R-I 框架，系统评估 VLM 在科学图表上的不确定性行为，揭示高精度不等于高可靠性
📌 工作参考价值（3 点）
- A-R-I 框架可改造成多模态商品理解质检：当商品图模糊、文字遮挡时，模型是否应承认“看不清”而不是编造卖点；可设置 blur/裁剪变换 + 强制确认 unreadable 区域，评估模型在低质量图片上的拒答率。
- resistance probes / caption-bias probes 可借鉴为“图-文不一致”检测：商品主图与标题/卖点描述冲突时，模型是否会被营销文案带偏？可构造对抗样本测试多模态推荐/审核模型的抗误导能力。
- 将“高感知精度≠行为可靠”的结论用于模型选型：在商品图 OCR、广告素材审核等场景，除了 accuracy，还要看 hallucination rate 和 uncertainty admission，类似 Gemini 3.1 Pro 在阻力分数上表现更强，可能更适合需要安全拒绝的业务。
Vero：AI Agent 能构建形式化验证的软件仓库吗
🧭 AI Agent 形式化验证代码生成基准
UC Berkeley · University of Chicago · California Institute of Technology · Stanford University · Amazon Web Services
首个仓库级实现与证明联合合成的形式化验证基准，当前最强 Agent 仅完全解决 27/43
📌 工作参考价值（4 点）
- 在电商/推荐系统的关键路径（如扣费、库存、ETL 数据一致性）中引入形式化验证 gate：为 API 接口编写 spec 和机器可检查证明，替代或补充单测，避免边界条件下的隐性 bug。
- 评估内部 AI coding agent 时，不要仅看测试通过率；可仿照 Vero 设计双模式评测：proof-only（只补证明）和 code-and-proof（实现+证明联合生成），衡量 agent 能否在多模块上下文中保持规范一致性。
- 采用 Vero 的审计机制：允许 agent 证明 spec 不可满足或参考实现错误，用于自动发现接口契约或参考代码中的隐含缺陷；迁移到业务中可对服务间契约建立形式化检查，提前暴露集成矛盾。
- 仓库级验证思维对微服务架构有参考意义：把跨服务数据流、状态迁移约束用 Lean 4 等语言形式化，不仅能保证单个模块正确，还能验证跨模块组合语义，适合交易链路等高可靠场景。
向量数据库近似最近邻搜索综合评测：性能、质量与资源权衡
🧭 向量数据库 ANNS 基准评测
University of Kelaniya
在6个数据集上评测7个向量数据库，揭示FAISS吞吐最高、Weaviate召回最好、Qdrant延迟最低，并开源框架
📌 工作参考价值（4 点）
- 在电商/RAG/推荐系统中，向量检索是高频依赖，选型时可参考评测结论：追求极致吞吐选 FAISS（但需自建数据库管理）；需要开箱即用高召回选 Weaviate；对延迟敏感选 Qdrant；快速冷启动/索引构建选 LanceDB。
- 作者开源了基准测试框架，可将自家业务数据集和查询负载直接套用，横向对比候选向量库在真实 query 分布下的 Recall@K、P99 延迟、内存/存储占用，避免盲目选型。
- 关注 cold-start latency（首次查询或容器冷启动）指标，对在线服务弹性扩缩容和 serverless 部署有实际参考价值；评测显示部分系统冷启动开销差异大。
- 结合资源消耗（索引构建时间、内存、存储）与查询性能做权衡：LanceDB 通过牺牲召回换取极快索引构建，适合频繁重建索引或数据快速流入的场景，如实时用户行为 embedding 更新。
AutoDesign：面向长程智能体设计的元 Harness 优化
🧭 Agent 长程任务与元 Harness 优化
Meituan · MBZUAI · Huazhong University of Science and Technology · Peking University · Tsinghua University
提出元 harness 优化框架，让 code agent 基于 rollout 反馈递归改进设计 harness，在海报生成任务上超越商业系统 7.45 分
📌 工作参考价值（4 点）
- 借鉴 meta-harness 分离设计与执行：把 agent 的 prompt、工具调用、流程编排等封装成 harness（代码/配置文件），由一个上层 optimizer 分析 rollout 反馈对 harness 做可版本化修改。业务中可对推荐对话 Agent、创意生成 Agent 做同样抽象，支持快速迭代和跨任务复用。
- 用低成本长程探索 + 自动评估驱动自我改进：AutoDesign 40 分钟、$3 执行 253 次工具调用和 11 次编辑，说明 agentic 创意生成可以做到量产成本。可迁移到电商 banner/商品主图/广告素材生成，先构建轻量自动评估指标（如图文匹配、布局密度）进行离线筛选，再人工验收。
- 建立任务专用 benchmark 与 mini 子集：PosterBench 用 100 篇论文主赛道 + 10 篇 mini 控制评估，业务上可仿照建立自己的素材/设计质量基准，覆盖多类目、系统盲评，避免只调 prompt 却没有可比较的离线指标。
- 多模型配置下的一致性增益：在 7 种 code-agent-model 配置中引入学习到的 DesignHarness 平均提升 12.4 分，说明好的 harness 具有跨模型迁移性；在选型 LLM 时可以把 harness 优化作为关键层，而不是只换模型。
何时能信任等成本 Top-k 分配的离线评估？
🧭 离线策略评估 · 确定性 Top-k 分配 ★ 深度解读
Independent Researcher
Top-k 离线评估：logger-目标动作对齐决定重叠，DR 最稳，诚实策略级切分才能消除优化者诅咒
📌 工作参考价值（4 点）
- 离线评估新排序/预算分配策略前，先算 logger 与目标策略的 action alignment，不要只看 logging policy 的温度或平滑度。可用 logged actions + propensities 计算 ESS 跨环境排序风险，但 cut point 需按自己的样本量重校准；同一份日志内 ESS 对候选策略排序几乎无效（ρ≈-0.11）。
- 倾向得分模型质量是第一优先级：文中 flexible πb 估计让 IPS 失败率从 6.3% 升至 37-63%，甚至把 ESS 诊断 AUC 从 0.85 反转为 0.05。业务上用 OPE 评估预算分配务必先验证 propensity model，否则诊断会误导；DR 对倾向估计误差几乎免疫，适合作为默认估计器。
- 评估用同数据训练的策略时，不要只做 outcome nuisance cross-fitting，必须做 policy-level honest splitting：每个 fold 重新训练策略并在 held-out fold 评估，才能消除 optimizer's curse；否则 cross-fitted DR 比 plain DR 更乐观（bias 增加 16-36%）。
- 做策略选择时，如果每个候选都有自己的 aligned log，会比较 policy-logger pairs 而不是 policies；应使用共同的 logging dataset，并注意 regret 和 accuracy 可能不一致，competitive slate 会缩小估计器差距。
全面回忆代价几何：智能体记忆系统服务成本基准测试
🧭 Agent 记忆系统成本与精度基准
Bricks Technology, Thailand
系统对比三种 agentic 记忆系统与滚动窗口/全量转录基线，发现成本不可由对话长度预测且成本-准确率无赢家
📌 工作参考价值（4 点）
- 长期对话 agent（客服、导购、推荐助手）引入记忆系统时，不要只按对话长度或消息大小预估成本；记忆系统的内部行为（抽取、总结、检索）才是主要成本变量，必须实测 profiling，否则成本可能偏差 18-69%。
- 上线前做 break-even 分析：对比全量 transcript 重发、固定滚动窗口和记忆系统的单轮 serving 成本，确定在会话多少轮后记忆系统才开始省钱；本实验中最便宜系统数十轮即可回本，最贵系统 400 轮内从未回本，选择错误会持续超支。
- 成本与准确率联合评估：642 个 LoCoMo 问题上各系统准确率仅 21-54%，没有系统同时占优；若业务对准确率敏感，先定准确率底线，再在满足底线的系统中选成本最低者。
- backbone 选择对成本的影响与记忆系统本身同样大，甚至可能抵消记忆系统的节省；做记忆系统选型时必须联合 backbone（如 GPT-4o vs. 轻量模型）一起压测，不能只换记忆系统而沿用原模型。
VAKRA：评估工具策略下跨 API 与检索的多跳推理
🧭 Agent 工具调用评测基准
IBM
推出 8000+ 可执行 API 的企业 Agent 评测基准，发现模型失败集中在语言中介推理与策略约束
📌 工作参考价值（4 点）
- 真实 API 重执行验证：评测 Agent 时用可执行 API 重放预测的工具调用并验证结果，比静态答案更接近线上工具调用场景；电商搜索/推荐 Agent 评估可借鉴，允许多条有效路径判断正确性，避免误判。
- 关注语言中介推理而非工具调用：论文发现失败集中在实体消歧、跨源 grounding，而非工具调用机制。电商 Agent 设计应重点优化实体链接和 schema 映射，例如显式注入商品 ID 映射、同义词表、类目别名，减少因命名不一致导致的调用失败。
- 策略约束下增加拒答机制：模型在不可回答查询上准确率低至 2.4%，暴露严重幻觉。在电商客服/推荐 Agent 中，应设置明确的不可回答或信息不足分支，结合置信度阈值触发拒答或转人工，避免错误工具调用造成业务风险。
- 固定 ReAct harness 隔离模型能力：团队在选型基础模型或评测生成式推荐能力时，可固定同一 Agent 框架，只替换底层 LLM，快速定位模型本身的问题，避免架构干扰。
MBA：面向真实商业创意的多模态基准与智能体
🧭 多模态业务创意生成代理
KAIST AI
构建首个多模态商业创意基准 MBA-Bench，并训练基于 GRPO 的代理，在 blind/known 双设置下显著超越基线
📌 工作参考价值（4 点）
- 多模态视觉线索驱动创意生成：在电商商品卖点、广告文案、活动策划生成中，不要只用文本属性，把商品图、场景图抽成视觉线索（自动 caption + MLLM），补充形状、材质、空间布局等独特卖点，这些视觉信号往往直接影响点击转化。
- 检索增强合成（RAG for ideation）：生成前先根据任务生成检索 query，取回市场证据（竞品、用户评论、趋势数据），再做 evidence-augmented synthesis。可用于选品文案、push 文案：先检索用户近期关注与竞品卖点，再生成差异化创意。
- 奖励设计分离 creativity 与 feasibility：训练生成代理时，将奖励拆为创造力（新颖性）与可行性（实现路径、成本等），并可将已知业务指标（点击率、转化率）作为 disclosed criteria 加入 GRPO 优化，避免盲目 hack 指标。
- 轻量训练栈：LoRA SFT + GRPO 在小算力下即可微调多模态模型，业务侧可在已有 MLLM 上快速构建创意代理与自动化评测闭环。
DSAgentBench：评估 Agent 在真实计算机环境中自动执行端到端数据科学工作流的能力
🧭 Agent 能力评估与基准构建
York University · Nanyang Technological University · Salesforce AI Research
首个在真实 OS 中评估 agent 完成全流程数据科学任务的基准，揭示当前模型巨大能力鸿沟
📌 工作参考价值（4 点）
- 为电商推荐场景中自动化数据分析（清洗、特征工程、模型评估）的 Agent 提供评估框架，可借鉴其任务设计和评测方法。
- 强调真实 OS 环境下的多工具协同（终端、浏览器、数据库），提示业务 Agent 需要具备文件系统操作、数据库连接等底层能力，而非仅代码生成。
- 确定性 evaluator 不仅检查代码执行，还验证分析结果正确性、可视化和模型性能，该思路可直接用于业务 Agent 的效果验收。
- 当前开源 Agent 成功率几乎为 0，闭源最高仅 56.7%，说明复杂长链路自动化仍不成熟，现阶段业务中应谨慎引入端到端全自动 Agent，更适合人机协同模式。
VibeLifeBench：多周生活世界中主动持久的生活助理评测基准
🧭 长周期主动式 Agent 评测
Xiaohongshu Dots Studio · Evolvent AI
提出了首个衡量 LLM agent 在长期变化世界中主动性与持续性的评测基准，发现所有前沿模型得分极低
📌 工作参考价值（4 点）
- 电商购物助理等长期交互场景可借鉴：agent 需具备主动察变能力（如价格波动、库存变化），而不仅是响应指令。
- 评测需覆盖三个维度：最终状态、行动及时性、隐含约束遵守——业务中类似“隐含约束”（如不打扰用户休息）往往比明面要求更重要。
- 模拟世界“时间自动推进且变动沉默”的设计，可直接复用到长期推荐或营销推送的离线回测框架，强制 agent 周期性重检。
- 开源的任务与环境可作为构建“长期主动推荐 agent”的测试床，验证上下文保持与跨会话连贯性。
组合购物基准：LLM代理在预算约束下带优惠券的篮子购物评估
🧭 LLM Agent 购物评估基准 ★ 深度解读
JD.com
提出ComboShoppingBench基准，评估LLM代理在跨商品兼容性、预算和优惠券约束下的组合购物能力，最强代理仅61.2%成功率。
📌 工作参考价值（4 点）
- 电商购物助手可借鉴“隐藏见证”构建法：先生成可行篮子再反向创建任务，确保有解但不限制推荐多样性。
- 混合评估框架（语义判断+确定性验证）可用于实际购物Agent评测，分离语义满足与交易可行性。
- 优惠券最优选择是瓶颈，提示实际系统需要专门的组合优化模块，而非仅靠LLM推理。
- 复杂组合约束下，Agent容易丢失个别条件，可通过提示工程或工具增强多条件跟踪。
Evo-Bench：衡量语言模型自主优化智能体框架的能力
🧭 Agent 自我进化能力评估
Gaoling School of Artificial Intelligence, Renmin University of China · BOSS Zhipin, Beijing, China
首个跨搜索、办公、通用领域的基准，评估LLM自主进化智能体harness的能力，发现搜索优势与早饱和现象
📌 工作参考价值（4 点）
- 在设计电商搜索或推荐 Agent 时，可让 LLM 自动优化其工作流程（harness），借鉴“辅助任务进化”方法来筛选对框架敏感的任务，降低试错成本。
- 注意早饱和现象：迭代优化时设置提前停止条件，避免过度优化导致性能停滞，适用于高频率在线场景。
- 合成的 harness 作为可迁移的推理模板，跨不同推荐模型复用，可沉淀为内部知识库，统一提升效果。
- 评估自主进化能力时需隔离基座模型强度与框架贡献，可参考“敏感度感知分层划分”防止过拟合到特定任务集。
SWE-Bench ProMax：大规模多语言代码重构智能体基准
🧭 代码重构 Agent 评估基准
Shanghai Jiao Tong University · Peking University · The Hong Kong University of Science and Technology · Douyin Group · University of Chinese Academy of Sciences
构建多语言、大规模代码重构基准，通过严格清洗暴露模型短板，最佳解决率仅41.2%
📌 工作参考价值（4 点）
- 基准构建的严谨性可迁移：对测试用例的手动审查（剔除过严 / 过宽的测试）和问题描述的精确重写，可应用于推荐系统的离线评估中，避免因标注错误或模糊定义导致的模型能力误判。
- 协调多文件修改的思路：实例要求同时修改平均11.4个文件，类似推荐系统中需要跨阶段（召回、排序、重排）联合优化的场景，可启发多 Agent 协同编排的设计。
- 测试规模与真实任务的接近：平均261.6行代码的修改量远超市面基准，提示我们在构建推荐 Agent 评估任务时应尽量贴近线上复杂流程，避免琐碎的任务导致能力饱和。
- 业务可借鉴点有限：论文核心是代码重构，与电商推荐直接关联弱，但其暴露的大模型在长上下文、跨文件行为保持上的不足，对用 LLM 做推荐 Pipeline 自动编排有警示意义。
GeoBenchLLM：面向地理相关任务的大模型综合评测基准
🧭 地理空间推理 · 评测基准
University of Toulouse
构建覆盖12类地理时空任务的多维度LLM评测基准，揭示推理与模型规模对地理理解的关键影响
📌 工作参考价值（4 点）
- 地理位置相关搜索/推荐系统可借鉴该基准中的空间关系推理、路径规划等任务，评测模型对用户时空意图理解的能力
- 评测框架中多任务、多数据集的构造方式可用于构建电商场景下的位置感知 Agent 或推荐模型评测集，避免单一任务过拟合
- 发现推理能力对地理任务性能的提升显著，提示在搭建位置敏感型 LLM 应用时，应优先选用具备强推理能力的模型（如思维链增强）而非单纯增大参数规模
- 数据集覆盖事实问答、路径规划等实用任务，可直接用于微调模型以提升对地址、POI、区域范围等实体的语义与空间关系建模，改善本地生活服务推荐质量
LLM Agent 能否守住剧本：互动叙事长程一致性基准
🧭 LLM Agent 长程一致性评测
University of Macau · Westlake University · Harbin Institute of Technology, Shenzhen · University of Cambridge · University of Aberdeen
提出 NCP 任务与 NCP-Bench 基准，系统评测 LLM 在对抗性互动下维持长期叙事承诺的能力，暴露严重一致性缺陷
📌 工作参考价值（4 点）
- 对话式推荐/导购 Agent 的多轮交互中，可显式维护“用户约束/已承诺事实”的结构化 memory，每轮生成后自动做 conflict check，避免推翻之前承诺（如预算、偏好、已推荐商品属性）。
- 借鉴其 benchmark 设计：把长会话目标拆成 trajectory + commitments + initial facts，用可自动校验的规格替代纯人工评分，可低成本构造电商导购场景的 consistency 回归测试集。
- 对抗性用户干预（如否定已确认信息、突然改需求）是真实线上常态；上线前应对 Agent 做 adversarial turn 压力测试，评测“生存率”而非只看单轮回复质量。
- 论文显示语言质量高不等于逻辑一致，模型规模/通用能力不直接解决长程状态追踪；工程上建议引入外部状态机或检查器，而非只依赖模型隐式记忆。
LLMRouter：LLM 路由器开发、评估与部署的统一基础设施
🧭 LLM 路由统一框架与评测基准
University of Illinois Urbana-Champaign · University of Maryland, College Park · Nanyang Technological University · Purdue University · University of Illinois Chicago
提出统一 LLM 路由五组件公式、开源模块化基础设施与 xRouteBench 基准，系统比较 16+ 路由器并给出成本与个性化关键发现
📌 工作参考价值（4 点）
- 做 LLM 路由时可将策略抽象为「编码器→打分→决策规则→学习信号」，按组件模块化开发，便于快速替换编码器（如用户/上下文 embedding）和损失函数；LLMRouter 的开源实现可当内部 Router 服务的脚手架。
- 电商/搜索推荐中不同 query/任务对模型能力和成本敏感度差异大，统一评估质量+推理成本的方式值得照搬，建议建立类似 xRouteBench 的内部基准，用候选模型池自动产出路由标签。
- 实验结论提示在严格成本预算下轻量路由器反而更优；部署 LLM Agent 或生成式推荐服务时，应把单模型强大与路由开销一起评估，不要盲目追求复杂路由器。
- 个性化路由（user-conditioned routing）增益稳定，可把用户画像/历史行为嵌入作为条件输入，让路由决策感知用户，提升推荐、广告文案生成等场景的个性化效果。
持续技能基准：评估LLM智能体能否真正进化其能力
🧭 Agent连续技能学习评估 ★ 深度解读
Institute for Artificial Intelligence, Peking University · Beijing Institute for General Artificial Intelligence
构建动态评估框架，揭示顺序执行提升性能但技能库维护未显著超越纯上下文学习，技能泛化仍难
📌 工作参考价值（4 点）
- 纯上下文学习可替代复杂技能库：在电商Agent的工作流中，对于简单的顺序任务（如用户意图识别→商品推荐→生成文案），直接利用对话历史和反馈的上下文学习表现与维护显式技能库相当，可以简化系统设计，避免技能库膨胀。
- 警惕技能碎片化：弱模型容易生成大量任务特定技能且复用率低，导致检索负担加重。可以设计技能合并策略（如定期聚类相似技能并泛化）或设置技能池容量限制，通过淘汰低频技能来维持效率。
- 任务流设计需注入技能依赖结构：通过构建任务依赖图并按拓扑排序安排任务顺序（难度递进 + 技能复用），能显著提高技能覆盖率和转移机会，这在推荐系统的多阶段流程（召回→粗排→精排→策略）中可借鉴，使上游产出的特征或知识能被下游利用。
- 评估指标可移植：任务重用率和核心技能覆盖率可作为量化连续学习环境质量的指标，用于检测推荐序列中是否存在有效的知识迁移路径。
迈向技能原生LLM：用技能熵衡量与训练长程跨技能推理
🧭 长程多技能推理评估与强化学习训练
Princeton University · Carnegie Mellon University · University of Toronto · University of Illinois Urbana-Champaign · Stanford University
提出技能熵量化技能切换难度，构建Skill^2-Bench基准并设计Skill-Entropy RL训练框架，显著提升LLM长程跨技能推理性能
📌 工作参考价值（4 点）
- Agent 任务难度评估：在电商 Agent 或对话式推荐系统中，多条技能链（意图识别→商品检索→价格计算→个性化推荐→原因解释）可借助技能熵量化任务复杂度，发现模型在哪类技能切换上频繁失败，定向优化。
- RL 训练技巧迁移：Skill-Entropy RL 框架可直接套用到推荐 Agent 的训练，奖励模型不仅输出正确结果，还要正确选择每步使用的技能类型，以此强化长程规划的技能切换能力，避免步骤遗漏或逻辑跳跃。
- 复用训练信号：论文证明技能熵信号可跨数据集复用（如 OpenR1-Math），电商团队可构建内部多技能长链任务数据，用同样方法对自有模型做 RL 微调，无需改动业务模型架构。
- 基准设计思路：可以参照 Skill^2-Bench 构建技能切换的评测集，将不同推荐环节抽象为独立skill，自动检测模型是否按预期顺序调用技能，用于评价 LLM 驱动的推荐系统中的多步推理鲁棒性。
DataSpace：面向异构工作区可验证分析的数据智能体基准
🧭 数据智能体多模态分析基准
HKUST(GZ) · Tsinghua University
提出首个统一异构多模态证据发现、完整表格输出与确定性评估的数据智能体基准，最佳准确率仅 66.34%
📌 工作参考价值（4 点）
- 确定性评估器的列对齐、类型精度归一化方法可直接用于推荐系统生成表格结果的自动评估，避免人工对齐局限。
- 多模态 workspace 构建流程（跨语言转换、关系采样、模态路由）可借鉴到商品多模态信息检索的测试集构造。
- 不同 agent harness 带来的 15.36 点性能差异提示：在构建推荐对话智能体时，工具编排与框架选择对效果决定性，需谨慎对比。
- 多模态证据集成和连接操作一致降低准确率的发现提醒：在搜索推荐系统中融合多源异构数据时需设计针对性的对齐与融合机制。
GDPevo：在真实业务任务上评估智能体自我进化
🧭 Agent自进化评估基准与数据生成
PrismShadow · New York University
基于企业工作流的可归因自进化基准GDPevo，通过规则杂交评估智能体从经验中持续改进的能力，揭示当前水平远未成熟。
📌 工作参考价值（4 点）
- 规则杂交可作为推荐评估的模拟框架：将商品推荐规则拆解为原子规则，通过控制训练/测试规则子集的重叠度，系统评估推荐模型或Agent的冷启动、规则组合泛化能力，比随机划分更有解释力。
- 自动化数据管道设计可借鉴：通过规则模板自动化生成多样化的业务任务，能够快速构建和更新测试集，对抗数据污染，适合电商场景中持续评估模型迭代，避免指标膨胀。
- 自进化增益的量化方法：通过留出任务中训练前后准确率的差异来测量进化效果，这种归因设计可以迁移到评估LLM-based推荐或对话系统在记忆、工具使用等非参数状态更新后的实际收益。
- 低自进化水平警示：当前智能体即使经过进化，距离预言机上限仍有巨大差距，提示在电商/广告Agent中，简单的few-shot或记忆增强可能无法解决深层推理，需要更高层次的技能习得机制。
PredAct-Bench：在可控工具噪声下评测对话智能体
🧭 工具增强对话 · 人机信任校准 ★ 深度解读
University of Illinois Urbana-Champaign
提出首个在预测工具噪声下评估对话智能体的基准，发现LLM过度依赖工具而人类能更校准地采纳建议
📌 工作参考价值（4 点）
- 信任校准指标可迁移：RAIR/RSR 指标不依赖特定领域，可直接用于评估推荐解释或对话推荐场景中用户对AI建议的适当依赖程度，帮助诊断过度信任或忽视问题。
- 工具噪声注入方法论：在对话推荐系统中，可以像 PredAct-Bench 一样只对某些工具（如预测评分）注入可控噪声，而保持事实查询类工具准确，以此评估系统在噪声下的鲁棒性和用户行为变化。
- 多轮验证对话设计：所采用的“初始决策-工具对话-最终决策”流程可借鉴到电商Agent中，让用户先看推荐理由再通过追问验证（查历史、反事实），减少盲目采纳有噪声的推荐。
- 人类行为基线参考：论文显示人类会花更多时间、问更少但更有针对性的问题，这提示在设计推荐对话Agent时，不应追求短平快的交互，而应鼓励用户提出证据整合类问题以校准信任。
OpenART：基于开放式环境演化的 Agent 红队规模化评测
🧭 Agent 安全红队 · 环境演化
Fudan University · Shanghai Artificial Intelligence Laboratory · XSafeAI
提出开放式环境演化基准 OpenART 与黑盒攻击策略 EMHA，在 75 种 Agent-模型配置上取得 85.0% 攻击成功率
📌 工作参考价值（4 点）
- 在电商/广告等长会话 Agent 场景中，可借鉴「环境状态演化」思路：不直接攻击模型输入，而是通过授权状态转移逐步污染共享上下文，测试推荐/搜索 Agent 在累积状态下的鲁棒性。
- 多工具调用（如商品检索、订单查询、广告投放）中，可建立状态转移超图，识别高风险路径，提前限制敏感状态变更，防止攻击链通过多个合法工具组合放大风险。
- 评估 Agent 安全时，除了模型能力，需重点关注 runtime 框架选择：文中发现目标 Agent 身份可解释额外 7.6% ASR 变异，提示生产中应测试不同 Agent 运行时的安全性差异，避免仅依赖模型层防御。
- 对于长链路任务（如电商导购 Agent 执行 97 次工具调用），可引入动态环境监控，检测偏离任务目标的异常状态演化，作为红队预警机制。
MerchantBench：电商运营中LLM智能体长期连贯性基准
🧭 Agent 长期连贯性评估
Alibaba Group · State Key Lab of CAD&CG, Zhejiang University · School of Software Technology, Zhejiang University · School of Software and Microelectronics, Peking University · College of Computer Science and Artificial Intelligence, Fudan University
提出首个电商卖家长期运营模拟基准，评估LLM智能体在365天中维持连贯决策的能力，揭示LLM远逊于人类
📌 工作参考价值（4 点）
- 长期模拟环境构建：可借鉴其365天订单级模拟设定，将“供应商事件-采购-上架-定价-订单-现金流”时序闭环用于训练或评估搜推广场景中的Agent，尤其适合需要多步决策且反馈延迟的任务（如选品、动态定价）。
- 决策依赖与现金流的约束设计：采购、定价、现金流之间形成硬性依赖，当前行为会影响未来选择空间，这对设计推荐Agent的“预算受限序列决策”有很大启发，例如广告竞价中的预算分配与出价调整。
- 混合延迟反馈的处理框架：MerchantBench区分上游即时事件与下游延迟订单结果，这种双通道反馈模式可复用于搜索推荐系统，帮助Agent学会在延迟转化数据下的自适应策略。
- 评估指标与人类对照：用最终净资产等累计指标衡量长期连贯性，并引入人类基线，这种做法可迁移到业务Agent评测中，避免仅看短期收益忽视长期效果，从而设计更鲁棒的线上评估体系。
ORCA-bench：LLM智能体在oncall根因分析中的准备度评估
🧭 Agent 根因分析基准评估
Cornell Tech · Traversal · Columbia University
在真实微服务系统中评估LLM Agent的根因分析能力，最佳准确率仅25.3%，暴露严重幻觉与代码依赖
📌 工作参考价值（4 点）
- 构建推荐系统智能运维Agent时，需警惕幻觉风险：即使最强模型在部分任务中也给出完全无关根因，可借鉴其幻觉率指标与人工评审机制
- 源端可观测性（指标、日志、追踪）完整性与代码访问权至关重要：移除源码访问会全面降低Agent表现，建议在推荐系统线上故障排查Agent中强制集成代码检索工具
- 任务难度分级方法可复用：根据报告特异性、检测延迟、并发故障等维度系统构造评测集，用于评估电商搜索推荐场景下的异常检测Agent
- LLM-as-judge与专家对齐（Cohen’s κ_w=0.90）的验证流程，可直接用于生产环境中Agent输出的自动化评估，减少人工审核成本
OSReward：建立跨平台计算机使用奖励模型的标准化评估基准
🧭 计算机使用Agent奖励模型评估
The University of Hong Kong · Nanjing University · National University of Singapore · University of Science and Technology of China · Xi'an Jiaotong University
揭示VLM评判器普遍存在宽松偏差，并推出低成本开源奖励模型OS-Shepherd实现可靠自动化评估
📌 工作参考价值（3 点）
- 警惕LLM-as-Judge中的宽松偏差：在电商搜索、推荐系统的离线评估或RLHF reward模型中，若直接使用商业VLM作为评判器，可能系统性地将失败案例误判为成功，需通过构建类似OSReward-Hard的对抗样本集进行可靠性校准。
- 用reasoning标注蒸馏小型评估器：借鉴OS-Shepherd的思路，收集专家推理标注的评估数据集，训练7-9B的小模型替代GPT-4o等大模型作为评估器，实现30-60倍成本下降，同时保持高一致性，适合大规模线上监控或离线评估。
- 多维度细粒度评分设计：可迁移OSReward-Multi的评分框架，在推荐业务中将评估分解为效率、对齐、多样性等子维度，便于定位Agent或推荐策略的具体短板。
FinanceHarness：自主金融深度研究框架
🧭 Agent驱动的金融深度研究框架
Google Cloud AI Research · University of California, Los Angeles
提出面向金融领域的自主深度研究框架及点时间基准FinanceGym，将代理评分从25.3%提升至32.4%
📌 工作参考价值（4 点）
- 领域专用Agent工作流设计：电商搜索推荐Agent可借鉴分层harness思想，封装商品查询、行为分析、趋势预测等工具，构建多步骤推理流水线（如竞品分析→选品策略→文案生成）。
- 点时间基准避免数据泄露：针对促销预测、季节品推荐等时间敏感任务，可参照FinanceGym的pre-cutoff/post-cutoff评估设计，确保测试集不包含未来信息，真实反映模型能力。
- 奖赏建模指导Agent优化：可对推荐报告、搜索策略输出定义自动评分标准（如覆盖率、新颖性、时效性），用于RLHF或拒绝采样微调，提升Agent执行质量。
- 专家验证基准的效用：在构建垂直领域Agent评测集时，引入专家人工验证确定难度和真实水平，避免纯自动指标误导，发现顶尖模型仍有较大改进空间。
Setoka：面向异构数据的个性化 Agent 分层用户理解基准
🧭 Agent 记忆系统与用户理解评估 ★ 深度解读
East China Normal University · The Chinese University of Hong Kong
首个心理学驱动的分层基准，评估记忆 Agent 从显式事实到人格特质的跨源推理能力
📌 工作参考价值（4 点）
- 记忆系统选型与分层设计：在电商/Agent场景中，简单事实检索（如用户偏好标签）用精确数据库查询即可，但跨多源行为聚合（如长期购物节奏、品类偏好漂移）需要带时间上下文的结构化记忆；更抽象的用户人格推理（如价格敏感性、冲动消费倾向）则需图结构记忆以显式关联分散证据，建议按查询抽象层次选择或组合多种记忆结构。
- 评估体系分层化：不要仅用整体准确率验收记忆系统，而应分解为单记录召回、多记录拼接、长周期聚合、跨类别泛化四个层次分别评估，暴露系统短板（例如当前系统情景记忆与行为模式得分骤降），尤其注意区分回答率与准确率，避免模型置信度误判。
- 异构用户数据的合成与一致性保障：可利用“事件锚定生成树”方法，先生成连贯的行为模式再扩展为多源记录，确保消息、日志、社交图等不同数据表围绕同一核心事件一致，可用于构造内部评测集，规避真实用户隐私问题。
- 人格/行为推理的显式建模：如果业务中需要推断用户深层特质（如新用户冷启动时的人格化推荐），可借鉴心理量表到行为模式的规则映射，将大五人格或消费相关特质转化为可观测的行为频率证据，建立从底层日志到高层画像的因果链，提升可解释性与冷启动效果。
See2Think：衡量多模态模型是否真正利用了中间视觉状态
🧭 多模态推理过程诊断与评估
Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Central South University · The Hong Kong University of Science and Technology (Guangzhou) · University of Science and Technology of China
构建统一评估框架See2Think，诊断多模态推理中中间视觉状态的生成、渲染与利用瓶颈
📌 工作参考价值（4 点）
- 在电商搜索、推荐解释或商品问答的Agent流程中，若引入中间草图、标注等视觉操作，可借鉴VAoT框架记录每一步的视觉动作、渲染结果与后续利用，诊断渲染失败导致的错误传播。
- 设计多模态Agent时，避免仅依赖最终答案评估，而应分析视觉状态的忠实渲染与反馈吸收率，尤其在3D商品展示或场景理解任务中，即使模型选择正确操作，渲染瓶颈仍会大幅降低准确率。
- 通过任务相关的损坏反馈干预，可量化模型对中间视觉状态的行为依赖性，这对于验证Agent是否真实依赖视觉信息（如商品图像局部特征）而非文本捷径具有实操价值。
- 发现高反馈吸收率不一定转化为准确率提升，提示在Agent中盲目增加视觉反馈机制可能无效，应先确保渲染环节准确可靠。
WorkSurface-Bench：企业智能体多知识面路由评测基准
🧭 智能体知识路由能力评测
Peking University · Zhongguancun Academy · University of Chinese Academy of Sciences
提出面路由概念并构建基准，分离评测智能体选择知识源与使用知识源的能力
📌 工作参考价值（4 点）
- 在电商 Agent 中可借鉴“面路由”概念，将知识源归类为文档（商品描述）、表格（销量/库存）和图（商品关联/用户图谱），先让 Agent 选择合适的面再处理，提升准确性和效率。
- 分离评测 Route F1 和 Answer Accuracy，帮助定位 Agent 失败根因：是选错数据源还是后续推理错误，可迁移到内部 Agent 评测体系。
- 实验证明去除无关工具可以改善路由和效率，工程实现时可让 Agent 先进行面筛选，再暴露对应工具，减少干扰。
- 参考可审计答案构建方式：表格用可执行查询验证、文档用文本片段 grounding、图用来源追溯，适合企业内构建可信评测集。
CLBench-V：多模态上下文学习能力基准，从定位到知识获取
🧭 多模态上下文学习基准与能力分析
Shanghai Jiao Tong University · Zhongguancun Academy · Shanghai Innovation Institute
首个多模态上下文学习基准，解耦上下文定位、信息应用与知识学习三维度，揭示模型严重不足
📌 工作参考价值（4 点）
- 多模态RAG与Agent的评估方法论：可借鉴三维度分类（上下文定位、新信息应用、新知识学习）来诊断Agent在电商商品详情页、广告落地页等多模态上下文中的能力瓶颈，比单纯端到端准确率更细粒度。
- 自动构建评估任务的低成本流水线：论文的自动构造+过滤方法可直接用于生成商品描述理解、图文手册合规性检查等领域的评测数据，降低人工标注成本。
- 模型选型参考：InternVL 3.5 在上下文定位和知识学习上更强，Qwen3.5-Plus 擅长信息应用，指导选型：若业务强依赖从图中提取新规则（如活动规则解读），宜选前者；若侧重直接应用给定信息（如表格问答），后者更优。
- 长多文上下文评估启示：论文分析了上下文长度、图片数量对性能的影响，可启示在商品详情页多图、长文档检索场景下，需针对性优化模型的长上下文窗口和跨图推理。
先验事实：智能体记忆的纵向评估工具与架构排名逆转
🧭 Agent 记忆评估基准与架构反转
Independent Researcher
提出反转生成流水线的评测基准，揭示记忆架构排名随对话历史长度反转，开源分层记忆库Veracium
📌 工作参考价值（4 点）
- 长期Agent场景（如客服、推荐对话）中，记忆架构需要按信息时效与来源分层，可借鉴「分层图记忆」（provenance-typed graph）设计，区分事实有效期和发送/接收信任度，避免简单 LRU 淘汰。
- 构建记忆评测时，采用“先事实后对话”的生成流水线，机械式出题可杜绝标签泄漏，并且植入时间衰减、注入干扰等特性，更真实模拟业务中持续更新的用户画像。
- 写入质量直接决定下游问答准确率（弱写事实失败率24% vs. 干净写2%），在记录用户交互（如购物偏好、咨询历史）时，务必保证写入端的清晰度与完整性。
- 短历史评测会误导架构选择，需结合长期（如数周）对话累积进行压测；全量历史回读虽然短期有效，但成本高且不持久，工程上可优先采用分层记忆实现高性价比。
基于后悔值的多轮澄清基准：评估LLM助手的澄清策略
🧭 对话Agent澄清策略的后悔值评估基准
MBZUAI · BKAI Research Center, Hanoi University of Science and Technology · INSAIT, Sofia University "St. Kliment Ohridski"
提出基于后悔值的多轮澄清基准RegretBench，衡量LLM助手澄清策略的效率与效用，避免仅看最终成功。
📌 工作参考价值（4 点）
- 对话推荐中的澄清策略评估：在电商对话推荐中，用户需求往往模糊，可借鉴RegretBench的后悔值度量，评估系统是否在正确时机提问、何时停止，避免无效追问或过早错误回答，优化用户交互体验和转化效率。
- 优化Agent的停止决策：后悔值框架量化了“多问一轮”的机会成本，可直接用于强化学习稀疏奖励设计，训练Agent在信息增益低于阈值时果断停止，减少对话轮次和用户流失。
- 隐藏意图数据构建：RegretBench的隐藏意图设定可用于生成大量用户意图不确定的模拟训练数据，提升推荐Agent对模糊查询的处理能力，特别适合冷启动或用户画像缺失的场景。
- 多指标评估体系：该工作提醒不要仅看最终准确率，而应同时关注交互成本、无效澄清率，对应搜索推荐中的“结果页翻页深度”或“对话轮次”，可迁移到消息推送频率、主动推荐时机的决策中。
QuantiBias：量化 LLM 的开放式偏见基准测试
🧭 量化偏差评测
University of Southern California
量化模型通过标准安全检测却常在开放式生成中输出刻板印象，须单独评估
📌 工作参考价值（3 点）
- 业务中部署量化 LLM（如对话推荐、广告文案生成）时，仅靠拒绝检测和选择题安全评估不够，需补充开放式生成场景的偏差抽样，否则可能放大隐性刻板印象。
- 可借鉴 QuantiBias 的控制条件设计：配对无害/有害拒绝探测、多项选择与开放式生成，构建内部审查工具，精确分离生成过程中的偏见来源。
- 尝试在 prompt 中引导模型逐步推理（CoT），可能在某些 backbone 上显著降低量化引入的开放式偏见（实验中减半），可作为无成本的缓解措施先上线验证。
RUMBA：面向长期对话记忆的细粒度俄语评估基准
🧭 长期记忆与对话系统诊断评估
DAIMLD
提出多维度诊断性长期记忆基准 RUMBA，涵盖俄语及英文，细粒度分解问题类型以分析记忆机制薄弱点
📌 工作参考价值（4 点）
- 记忆模块评估框架可复用：在构建个性化推荐或客服 Agent 的记忆模块时，直接借鉴 RUMBA 的细粒度提问分类（语义类型、会话范围、时序推理、时间表达明确性），设计针对性测试集，暴露模型在跨 Session 信息整合、偏好更新与遗忘方面的短板。
- 时序推理诊断切片：电商场景中用户偏好随时间变化（如兴趣漂移、短期促销影响），利用基准中的 temporal reasoning 切片，检验模型是否能正确区分陈旧信息与最新意图，优化记忆更新与淘汰策略。
- 多语言对齐下的英语子集可直接利用：论文提供对齐的英语子集，可以立即用于评估现有英语对话推荐系统的长期记忆能力，无需额外标注，快速定位检索与推理瓶颈。
- 记忆机制选型参考：论文对比不同记忆实现（如 KV cache、RAG、上下文打包等）在不同问题切片下的表现，结论可指导在资源与延迟约束下选择更适合电商场景的记忆架构。
ICAE-Bench：交互式项目构建编程代理评估基准
🧭 交互式编程Agent评估与用户模拟
Fudan University · Meituan Group · Singapore Management University · Shanghai Innovation Institute
提出首个从模糊需求出发交互式构建项目的编程代理评估基准，包含480个任务与自动用户模拟
📌 工作参考价值（4 点）
- 用户模拟器设计思路可迁移至对话式推荐：使用预定义的“用户数据”来约束模拟过程，避免人为虚构需求或泄露答案，确保交互可重现。搜索/推荐Agent评测中可借鉴此法，用历史行为序列生成模糊意图并模拟用户追问。
- 多维黑盒评估范式适用于Agent推荐：除功能正确性外，还细粒度评估语义相似度、结构保真度、交互质量等，可指导构建推荐/搜索Agent的全面评估体系，防止仅看单一指标导致误判。
- 将模糊需求锚定到具体真实代码库：在电商导购Agent场景，可用真实商品库或业务接口作为“可执行基准”，评估Agent能否将模糊意图（如“帮我找个性价比高的蓝牙耳机”）逐步澄清并落地为具体推荐/搜索动作。
- 通过隐藏约束与边界情况暴露Agent短板：评测表明当前模型擅长表层复现，但对隐藏业务规则、异常分支处理不足。在推荐系统中，可专门设计需要常识推理、用户长尾偏好、促销规则链的测试集，以检验Agent的深层理解与交互决策能力。
课程对齐知识图谱 K12-KGraph 用于教育LLM评测与训练
🧭 教育LLM课程认知评估与图引导训练
Peking University · Institute for Advanced Algorithms Research, Shanghai · OriginHub Technology · Zhongguancun Academy
构建课程知识图谱并衍生多任务基准，暴露大模型在前提推理等课程认知上的短板，并以图引导数据高效微调
📌 工作参考价值（4 点）
- 在电商知识图谱上复制多任务QA生成：借鉴从领域KG自动衍生Ground/Prereq/Neighbor等任务模板的方式，为电商商品搭配、选购意图、类目归属等场景快速构建大规模评测集，低成本评估模型对商品结构化关系的认知。
- 构建商品认知微调数据：参考K12-Train的图引导监督微调数据生成流程（将节点与关系转为自然语言QA，包括纯文本与多模态图文对），用商品知识图谱合成训练样本，提升LLM在导购、属性问答、搭配推荐解释上的表现。
- 领域特定SFT数据效率极高：实验证明，在相同样本量下，结构清晰的领域SFT数据（K12-Train-Text）碾压等量的通用SFT语料，说明用少量高质量的领域知识图谱衍生数据即可获得明显收益，电商场景可效仿。
- 多模态互补的设计：论文发现文本与视觉监督互补，单独任一都不如联合训练好；在产品搜索推荐中，可同时使用物品图片与结构化文本描述进行对齐训练，增强模型对视觉特征与商品属性的整合能力。
OpenSkillRisk：真实第三方风险技能下的智能体安全基准
🧭 LLM Agent 安全基准评测
City University of Hong Kong · Beijing University of Posts and Telecommunications · Li Auto Inc.
构建含263个真实风险技能的基准，揭示LLM智能体在规避第三方工具风险时的不足
📌 工作参考价值（4 点）
- 在构建面向电商场景的客服Agent或推荐助手时，若需集成第三方工具或自定义技能，可借鉴OpenSkillRisk的分类体系（七类威胁）进行安全风险预审，避免部署后出现有害行为。
- 重点关注“上下文敏感风险”和“系统级风险”，这类风险在当前最安全的配置下仍有17%的执行率，需在代码审查和沙箱测试中额外设计针对性的检测用例。
- 分析三种典型失败模式：未识别风险、识别后未阻止、执行超出用户意图。可在Agent框架中引入“风险识别→人工确认→执行”的防御回路，或通过提示工程强化LLM对恶意指令的警觉性。
- 若自研Agent平台支持外部开发者上传技能（类似插件市场），可参考该基准构建自动化安全扫描流水线，将技能描述与沙箱执行结果结合进行风险评估。
DocOps：面向复杂文档操作的自主代理可验证基准
🧭 Agent 评估基准 · 文档操作
Chinese Academy of Sciences · University of Chinese Academy of Sciences · Baidu Inc.
构建可确定性验证的文档操作基准，揭示前沿代理在长程耦合任务中状态跟踪崩溃、浅层验证等关键失效模式
📌 工作参考价值（4 点）
- 评估框架的设计思路（层次化任务分解、确定性验证）可迁移至电商搜索/推荐 Agent 的自动化评测，避免人工标注成本，确保可复现性
- 识别出的三种失败模式对构建面向长流程任务（如多步查询改写、动态过滤条件组合）的 Agent 有直接警示：需加强长程状态追踪、深层次语义校验、避免破坏性操作
- 文档操作中的“全局一致性维护”问题类似推荐系统中多轮对话或交叉操作下的状态管理，借鉴其分析维度可设计更鲁棒的交互式 RecBot
- 若业务涉及报告自动化、表格数据净化等 Agent 编排，该基准的层级分类可直接作为能力分级和测试用例设计的模板
多模态大语言模型的计算幽默：方法、数据集、评估与挑战
🧭 多模态LLM与幽默计算
Case Western Reserve University · The Hong Kong Polytechnic University
全面综述多模态LLM在视觉幽默理解与生成上的能力层级、基准与建模范式，揭示评估捷径等核心挑战
📌 工作参考价值（4 点）
- 电商广告创意中可借鉴多模态幽默识别能力，用于预筛选或评估营销素材是否包含不当或低效的幽默元素，降低品牌风险
- 用户生成内容（UGC）审核时可结合证据推理模块，提升对梗图、讽刺内容的理解准确率，减少误判
- 推送消息文案优化中可尝试可控幽默生成，但需注意安全性与文化适配，可先构建内部 benchmark 测试
- 构建幽默相关的评测集时需避免捷径特征（如文字重叠），确保模型学到真正的图文推理而非表面模式
用双层元评分标准评估长文本生成的事实完整性：GAMUT基准
🧭 长文本生成评估 · 事实完整性 ★ 深度解读
Meta AI
提出双层元评分框架，将结构化回答要求编译为二进制检查表，构建首个多模态日常深度研究事实完整性基准GAMUT
📌 工作参考价值（4 点）
- 结构化评估思想可迁移到生成式推荐场景：当用LLM生成商品描述、购买理由或搭配建议时，可用类似“元评分标准→二进制检查表”的方式，将产品卖点、品牌调性等要求编为可自动评分的 checklist，避免人工审核偏差。
- 开放集合覆盖率评分可用于推荐多样性评估：Flexible List 的“基线覆盖率+额外加分”机制，类似推荐列表中长尾商品覆盖度的评估，可设计为“至少命中k个相关类目”的自动打分规则。
- 多层级重要性权重的工程落地：将回答内容分为 Answer-Critical/Valuable/Context 三个等级并全局加权，推荐系统的解释生成也可采用类似分层，保障核心产品信息被覆盖，次要信息锦上添花。
- 双层设计分离“期望描述”与“实际打分”：工程上可将复杂的评测标准维护在结构化层，打分时用机械规则展开为简单判断项，降低LLM法官的评分方差，适合大规模生产环境中的自动化评估。
SkillCorpus：整合与评估开放技能生态以助力现实世界LLM智能体
🧭 Agent 技能生态聚合与端到端评估 ★ 深度解读
EverMind · Shanda Group · Peking University
将82万社区技能文件策展为9.6万高质量语料，并在三个真实Agent基准上实现一致增益（最高+13.4pp），揭示覆盖与Harness边界
📌 工作参考价值（4 点）
- 技能库构建与质量控制：多阶段策展流水线（结构过滤→语义去重→LLM三面评分→安全/许可硬门）可直接用于构建内部工具或知识库，尤其安全硬门（命令注入、越权等）对生产环境至关重要。
- 检索增强代理设计：微调嵌入+重排序+LLM终选器的三层检索栈，可借鉴至推荐系统中的工具检索或营销话术生成；按任务域自适应选择技能类别，提升相关性。
- Harness能力决定技能兑现：实验表明同一组技能在不同Agent框架（Raven vs OpenClaw）下增益相差近3倍，提示在选型或自研Agent时需关注执行闭环（如自动验证-修复循环）以最大化外部知识收益。
- 覆盖驱动增益，泛化靠生成：增益与技能覆盖强相关（r≈0.35），缺失领域增益为零但不反损；当业务领域技能稀疏时，可考虑自动生成或自我演化补充，而非仅优化检索。
OmniaBench：跨场景通用AI智能体基准测试
🧭 通用AI智能体多场景评测基准
Huawei Cloud Post-Training Team · PKU DCAI Team
构建覆盖ToC/ToB/ToE多领域、支持细粒度能力评估的通用智能体基准，前沿模型Pass@1仅约58%
📌 工作参考价值（4 点）
- 多领域评测维度复用：OmniaBench 从应用商店、产品文档等提炼的 90 个一级领域、354 个二级领域的层次化分类，可直接迁移到电商场景，构建覆盖商品搜索、客服对话、营销文案生成等不同业务子领域的 Agent 评测框架，确保评估广度。
- 能力诊断框架借鉴：十维能力分类（如规划、工具调用、约束维持）和八种原子难度因子可用于拆解搜索推荐 Agent 的关键短板，例如诊断是意图理解不足还是工具选择错误，针对性优化模型训练或 prompt 设计。
- 任务合成方法迁移：DAG/Solver/Program 等合成路线可辅助自动化生成电商多轮交互测试用例（如退货流程引导、多条件商品筛选），减少人工设计成本，特别适用于验证 Agent 在长链路、约束复杂场景下的表现。
- 工程化启示：基准揭示前沿模型在自适应纠错、状态追踪上的普遍局限，提示在构建生产级推荐对话 Agent 时，需显式加入外部状态管理模块或校验步骤，而非单纯依赖模型自身能力。
生成式 AI 能否超越监督 XMLC？德国科学文献自动主题标引基准研究
🧭 多标签分类 · 长尾标签生成
Deutsche Nationalbibliothek
在极多标签分类中，整体指标监督 XMLC 更强，但长尾与分级相关性上 LLM 生成式方法更优
📌 工作参考价值（4 点）
- 电商商品打标存在大量长尾属性（如小众品类、风格标签），可尝试用 LLM 直接生成标签候选，再结合现有分类器做过滤或置信度控制，提升长尾覆盖率。
- 对于标签体系极大（百万级）且分布极不均衡的场景，传统 XMLC 方法的二进制指标更优，适合高精度自动打标；LLM 生成在需要人工审校的分级相关性场景中更友好，可考虑混合流水线：先用 XMLC 出高置信度标签，再用 LLM 补充长尾标签。
- 论文中使用的 LLM 生成策略（如基于指令微调、少样本提示）可作为构建推荐系统标签生成模块的起点，尤其在冷门商品或新类目自动打标时，可快速冷启动。
- 在评估阶段引入专业标注员的分级相关性判断，比单一自动评测更能反映业务真实价值。电商标签推荐也可设计类似人工评估环节，衡量标签的可用性而非仅命中率。
Symbal：检测模型生成图像描述中的系统性错位
🧭 多模态生成内容审计·系统性错位检测
Stanford University · HOPPR
利用现成基础模型双阶段审计 MLLM 生成标题的系统性错误，实现 63.8% 准确率，比基线提升近 4 倍
📌 工作参考价值（3 点）
- 可借鉴双阶段自动审计范式：先利用 CLIP 等现成模型聚类潜在错位模式，再用 LLM 总结为自然语言描述，用于电商商品图文一致性审计或广告文案质量检查，无需重新训练。
- SymbalBench 的构造思路可复现到电商场景：通过组合视觉特征和人为标注的错误模式，构建特定领域的系统性错误检测基准，加速业务多模态模型验收。
- 发现特定视觉特征（如黑色皮肤、医疗设备）与固定错误 caption 关联的统计方法，可迁移到推荐场景中检测特定用户群或商品类目的系统性偏差。
主动观察者考试：多模态大模型视觉闭环感知评测
🧭 多模态模型主动视觉评估基准
University of Southern California
提出 ActiveVision 基准，发现前沿多模态模型在需要多次视觉交互的任务上近乎失败，与人类差距悬殊
📌 工作参考价值（3 点）
- 若业务中存在需要反复视觉确认的任务（如商品瑕疵检测、图像合规审核），可借鉴 ActiveVision 的任务设计，自建测试集评估内部多模态模型的主动观察能力，避免将单次前向的准确率等同于真实可用性。
- 使用多模态 Agent 执行复杂图像分析时，不应假设模型能自主重看或验证；工程上可考虑强制多步交互（如分区域截图、用目标检测器先提取候选区域再提问），以弥补被动视觉的缺陷。
- 该基准中模型生成视觉代码但仍失败的实验提示：在涉及视觉的任务里轻易让模型“写代码分析”可能不可靠，需确保代码执行环境的可干预性和结果的可解释性。
AgentCompass：解耦式统一 Agent 评估基础设施
🧭 Agent 评测基础设施 · 解耦式架构 ★ 深度解读
Shanghai AI Laboratory
通过解耦 Benchmark、Harness、Environment，实现灵活组合、故障容忍与细粒度轨迹分析的 Agent 评测框架
📌 工作参考价值（4 点）
- 解耦设计复用：将任务定义（Benchmark）、Agent 交互逻辑（Harness）、执行环境（Environment）分离，业务中可组合不同策略与环境进行 A/B 测试，避免重复开发。
- 异步容错流水线：参考其任务分发、并发控制与增量恢复机制，构建长周期 Agent 评估的高效流水线，减少资源浪费。
- 细粒度轨迹诊断：不仅看最终得分，还要记录工具调用、延迟、异常模式，建立分类分析器检测 reward‑hacking、重复循环等缺陷，指导 Agent 迭代。
- 统一模型协议：制定内部标准 API 与数据格式，方便接入不同 LLM 或 Agent 框架进行公平对比，降低评估集成成本。
基于摘要记忆的可解释 Agent 对话诈骗检测系统
🧭 可解释 Agent · 摘要记忆
University of New Haven
以可解释 Agent 融合单消息与对话级检测，引入摘要记忆跨消息推理，在基准上达 97.8% 准确率
📌 工作参考价值（4 点）
- 摘要式记忆机制可迁移至电商客服 Agent：对长对话压缩关键意图与上下文，避免窗口溢出，提升多轮交互下需求理解和推荐准确性。
- 可解释性设计：输出检测理由，可借鉴到推荐系统的透明性解释，例如解释为何推荐某商品，增强用户信任。
- 多阶段检测架构：结合单消息快速判别与对话全局分析，可类比推荐精排-粗排流程，平衡响应延迟与精度。
- 用户研究评估方法：使用 SUS 量表和前后测对比验证用户信任和接受度，可复用于评估搜索推荐 Agent 的用户体验与 AI 辅助效果。
SynthDocBench：长上下文视觉文档理解的受控基准
🧭 基准评估 · 长文档多模态理解
ServiceNow AI · Mila · Université de Montréal
通过合成数据系统控制文档长度、布局、模态和问题类型，揭示VLMs在长文档上的三种失败模式
📌 工作参考价值（4 点）
- 合成数据生成范式的复用：用LLM管线生成可控变量（长度、布局、模态、问题类型）的文档，可迁移到电商商品详情页、广告落地页等多模态内容的理解评估，系统诊断模型弱点。
- 位置敏感性发现：中部段落准确率最低（5/6模型“Early→Late”负向趋势，最大降8.3个百分点），提示在构建RAG系统的检索上下文时，避免简单按序拼接长文档，应将关键信息前移或采用分段注意力增强机制。
- 图表理解在长文档中崩坏：长文档内嵌图表的理解错误高，对广告/推荐中常含图表的多模态素材，需单独提取图表区域进行专项编码，或限制上下文长度以避免干扰。
- 防伪相关的随机覆写机制：生成时用40%随机覆写防止模型利用虚假关联，在实际业务构建评测集时，可引入类似随机占位符或噪声注入，避免模型走捷径，提升评测稳健性。
WILDTRACE：长上下文自然证据链推理基准
🧭 长上下文推理 · 自然证据几何结构
Hong Kong University of Science and Technology · Alibaba Group
从真实事故报告与小说中抽取文档内在的因果、时序证据链，构建多步推理基准，揭示长上下文模型的整合推理短板
📌 工作参考价值（4 点）
- 在电商长文档分析（如商品详情聚合、售后纠纷报告）中，可借鉴其“源端优先”证据链抽取思路，利用文档目录、因果提示自动构建多跳推理样本，低成本生产高质量微调数据。
- 对于搜索/推荐系统中的复杂用户意图理解，可设计类似的反事实分支（counterfactual branching）测试，评估模型在用户行为序列中识别因果归因的能力，而非仅靠相关性。
- 若构建 RAG 或 Agent 工作流，需要在检索后增加“证据缝合”步骤，显式建模段落间的因果、时序关系，而不是简单拼接 Top-k 片段；可参考文中七种几何结构设计中间推理链。
- 评估长上下文模型时，采用“证据隐藏”条件（withheld evidence）来检测模型是否真正理解文档内在逻辑，避免模型仅凭表层词匹配或位置线索蒙对答案，对业务中的可靠性测试有参考价值。
CausalDS：评估数据科学智能体因果推理的合成基准
🧭 因果推理基准 · 数据科学Agent评估
Department of Statistics, University of Michigan
提出通过合成结构因果模型与真实背景故事评估LLM在数据科学管线中的因果推理、工具使用与弃权能力
📌 工作参考价值（4 点）
- 在电商搜索推荐中，可借鉴其合成SCM+观测噪声生成评估数据的方法，构建针对因果推断类A/B测试分析、归因模型的离线评测集，避免使用线上真实数据时的数据泄露与鹦鹉风险。
- 弃权作为第一类评分结果的设计可直接迁移到Agent辅助的数据分析产品中：当置信度不足或信息缺失时，要求Agent主动声明“无法回答”，提升输出可靠性，尤其适用于策略归因、指标异动分析等易出错的场景。
- 联合评估因果推理+编码+工具使用的框架，能用于筛选适合数据科学Agent的LLM，确保其在推荐系统复杂分析（如效果评估、特征因果效应）中既能写出正确的分析代码（如do-calculus实现），又能正确调用pandas、因果库等工具。
- 故事与数据成对生成、覆盖Pearl三层问题的方法，可以启发设计多层级因果问答的评测体系，检验Agent在描述性、预测性、反事实任务上的表现，避免仅关注预测准确率而忽略因果推理深度。
UniClawBench：面向真实世界任务的主动式智能体通用基准
🧭 Agent 评估基准与能力分析
HKU MMLab · Meituan
首个能力驱动、在动态 Docker 环境中闭环评估主动智能体的基准，揭示框架比模型更影响性能
📌 工作参考价值（4 点）
- 能力解耦设计：将任务按 Skill Usage、Exploration、Long-Context Reasoning、Multimodal Understanding、Cross-Platform Coordination 五个维度划分，可启发我们在构建电商搜索/推荐 Agent 时按能力模块进行独立评估与优化
- 闭环评估策略：采用执行器-监督器-用户模拟器三角色闭环，隐藏真值、模拟多轮人类反馈，可用于内部 Agent 迭代，避免静态评测过拟合
- 框架选择比模型更重要：实验结论提示我们在实际系统中应优先优化 Agent 框架（工具编排、上下文管理）而非盲目升级基础模型
- 实时环境执行（Docker 容器+步骤检查点）：可借鉴将 Agent 丢入真实可操作环境（如浏览器、终端）并设计细粒度完成度打分，弥补传统离线评测的不足
WebRetriever：大规模全方位Web Agent高效评估基准
🧭 Agent 评估基准 · 多域导航
Mininglamp Technology · University of Chinese Academy of Sciences · Institute of Automation, Chinese Academy of Sciences
提出涵盖800网站1550任务的多域Web Agent基准与基于交互上下文的评估框架，揭示导航成功率不足以衡量真实效果
📌 工作参考价值（4 点）
- 评估 Agent 时不能只看导航成功率，参考文中三个协议：纯导航、知识辅助交互、端到端信息抽取，可分层诊断 Agent 在搜索/推荐场景中的真实能力。
- LLM-as-Judge 不应仅依赖页面截图，NavEval 强调记录并输入 query 构造、过滤/点击序列等交互上下文，能更准确评判 query 改写、筛选器使用等细粒度动作，可直接迁移至电商搜索 Agent 的自动评测。
- 构建多领域任务集（消费者、专业、企业站点）确保泛化测试，电商/广告推荐 Agent 可借鉴其意图覆盖方法，将用户需求细化为搜索、对比、属性过滤等原子任务。
- 基准提供 1,550 个真实任务，可作为强化学习或 Prompt 优化的 reward 信号源，工程上可利用其诊断结论针对性提升 Agent 在复杂信息提取中的鲁棒性。
EdgeBench：真实世界智能体学习性能的对数S型缩放定律
🧭 智能体环境学习缩放定律
ByteDance
首次发现智能体在真实环境中的长时间学习遵循精确的对数S型缩放定律，R²达0.998
📌 工作参考价值（4 点）
- 长时间运行智能体的性能预测：在电商广告自动优化、推荐系统持续调参等场景下，可借鉴对数S型曲线（$S(t) = \frac{S_{max}}{1 + (t_{mid}/t)^\beta}$）刻画智能体从环境反馈中学习的规律，预估性能饱和点，避免无效等待。
- 任务设计与评估框架：EdgeBench 要求单任务至少 12 小时连续运行并提供多级丰富反馈，类似方式可用于构建电商场景的长期智能体评测集（如七天不间断选品与出价），量化模型在真实业务流中的持续学习能力。
- 学习速度的迭代改进：论文发现智能体学习速度约每三个月翻倍，这启发我们在推荐智能体迭代时，关注模型代际的策略学习效率提升，将“学习速度”作为选型指标。
- 反馈机制设计：任务提供多级环境反馈（即时奖励、子任务完成信号等）是性能规律显现的关键，推荐系统中的智能体也应引入多层次、非延迟的反馈信号，以支撑稳定学习。
APeB：大模型智能体个性化能力基准测试
🧭 个性化产品搜索 · Agent评测 ★ 深度解读
The Chinese University of Hong Kong · ByteDance
构建真实个性化产品搜索基准，揭示LLM智能体在模糊意图与噪声历史下历史利用不足的核心瓶颈
📌 工作参考价值（4 点）
- 历史利用率短板是当前LLM Agent的致命伤：在模糊查询（如“校园风”）、强竞争候选下，直接喂入长历史效果甚微，应设计显式历史摘要或查询改写模块（如论文的VQRA），先凝练偏好再匹配，而不是端到端扔给LLM。
- 用“硬负样本”逼近真实场景：随机候选主要测语义匹配，硬候选（用户曾浏览但未买）才暴露个性化缺陷；业务评估推荐/搜索时，应构造同会话内的高度相似物品池来检验真实个性化能力。
- ReAct等工作流在模糊查询上未必加分：多步推理可放大意图理解错误；在query不明确时，先迭代改写query（用历史信息）再单步决策，可能比盲目增加推理步数更有效。
- LLM-as-a-Judge诊断中间推理路径：可定义意图推断、偏好提取、推荐对齐等分项指标，用LLM综合打分来定位模型失败节点，该方法可复用到电商Agent的离线优化流程。
EvoPolicyGym：交互环境中自主策略进化的评估基准
🧭 自主策略进化评估
University of Science and Technology of China · The Chinese University of Hong Kong · University of Macau · Tsinghua University · Zhejiang University
提出自主策略进化评测框架，在固定交互预算下诊断Agent迭代改进策略的过程与机制
📌 工作参考价值（4 点）
- 策略迭代中的预算分配诊断可直接迁移到推荐策略线上实验，通过分析每次改进尝试的“编辑类型/反馈利用”诊断迭代效率，避免盲目重试。
- “反馈转化为参数调优”思路可应用于推荐模型在线学习：将用户反馈映射为模型参数（如Embedding、权重）的精细调整，而非重新训练全量参数。
- 环境紧凑但多样化的设计理念可借鉴到离线策略评估：为搜索/推荐Agent构建一组交互式沙盒环境，低成本验证策略改进能力。
- 轨迹级别诊断（trajectory diagnostics）可作为评估推荐系统Agent改进行为的分析工具，区分“偶然胜利”与“真实机制发现”，提升迭代方案的上线信心。
LACUNA：评估 LLM 遗忘定位精度的测试平台
🧭 LLM 知识遗忘评估 · 参数定位精度
Mila – Quebec Artificial Intelligence Institute · McGill University
首个提供参数级定位真值的 LLM 遗忘基准，揭示现有方法定位不准且易受攻击，精准定位可大幅提升遗忘鲁棒性。
📌 工作参考价值（4 点）
- 在需严格删除用户隐私（如 GDPR 合规）的推荐或对话系统中，参数级精确遗忘比仅监控输出更可靠，可降低数据泄露风险。
- 定位思想可迁移到模型纠偏或概念编辑：先定位存储不良偏见的参数，再定向修改，提升推荐公平性。
- 提醒从业者：行为级遗忘评估（输出不可见）可能只是“掩藏”而非真正擦除，应增加参数级验证，防止被攻击还原。
- 通过受控注入合成数据构建私有测试集的思路，可用于测试模型对特定知识（如促销活动）的记忆强度与遗忘效果。
AgenticDataBench：面向数据代理的多领域细粒度综合基准
🧭 数据代理评估基准
Tsinghua University · Ant Digital Technologies, Ant Group
覆盖15个垂直领域，基于细粒度技能定义实现数据代理的全面评估与任务生成
📌 工作参考价值（4 点）
- 借鉴技能分解思路，将推荐系统开发流程（如特征工程、模型选择、A/B测试）拆解为可复用的原子技能，用于设计模块化推荐Agent。
- 利用社区数据（如内部实验日志、技术文档）提取高频操作模式，构建面向推荐问题的诊断或调优数据集。
- 按技能覆盖度最大化来筛选任务集合，确保离线评估时覆盖更多真实场景，避免评估偏差。
- LLM合成任务的方法可迁移至推荐场景，用于生成低资源领域的训练数据或用户模拟查询。
MemSyco-Bench：评估智能体记忆中过度迎合的基准
🧭 Agent 记忆评估 · 过度迎合基准
Xiamen University · Jilin University
首个系统评估 LLM Agent 长期记忆引发过度迎合的基准，揭示记忆常损害推理准确性
📌 工作参考价值（4 点）
- 记忆安全设计：在电商推荐或对话 Agent 中，历史交互记忆会让模型过度迎合用户偏好，牺牲事实准确性。可借鉴论文的五类任务，构建内部评估集，定期检测记忆是否导致系统偏离客观推荐策略，例如通过对抗样本检验 Agent 是否因记忆中的错误偏好而推荐不相关商品。
- 记忆生效范围控制：明确区分“可个性化的事实”与“客观不变的事实”。可设计记忆更新时打标签，限制记忆在价格、库存等动态信息上的影响力，避免 Agent 机械套用过期记忆。
- 冲突解决机制：当用户实时输入与历史记忆矛盾时，要求 Agent 优先采信最新证据。可引入类似“记忆置信度”或显式冲突检测模块，如设置规则：当检索到的记忆与当前查询的客观参数冲突时，触发重确认流程。
- 记忆更新时的回测：每次修改记忆库后，用历史会话重放测试，监测 Agent 是否出现迎合性漂移，防止记忆累积导致推荐策略越跑越偏。
AutoTrainess：通过训练专用接口实现语言模型自主后训练
🧭 Agent 自动化模型训练流程 ★ 深度解读
Tsinghua University · The Chinese University of Hong Kong · Simple Agent Lab
提出训练专用智能体-计算机接口（AutoTrainHub），将人类后训练经验编码为工作流，使LLM agent在PostTrainBench上显著超越CLI-only基线
📌 工作参考价值（4 点）
- 在自动化模型迭代任务中，将人类最佳实践抽象为固定接口（数据选择、清洗、格式验证），可大幅降低agent在训练pipeline中的失败率，尤其适合需持续优化的推荐模型再训练。
- 采用分阶段工作流（诊断→基础对齐→困难样本增强）引导agent逐步优化，避免过早陷入局部改进，可迁移至推荐系统的特征工程或数据诊断自动化。
- 通过结构化实验日志保留长期记忆，使agent在多轮迭代中保持连贯决策，对需要长期A/B测试和增量学习的搜推广系统有参考价值。
- 使用受约束的动作空间（固定训练框架、评估脚本）确保可复现性，这一设计原则可应用于搭建可靠的自动化模型上线与监控流程。
多智能体路由作为集合值预测：WildChat 基准与成本感知评估
🧭 多智体路由的集合预测与成本权衡
Ahsanullah University of Science and Technology
将多智能体路由建模为集合预测问题，构建基准并引入成本感知评估协议，证明监督路由显著优于零样本 LLM
📌 工作参考价值（4 点）
- 将路由建模为集合预测而非 Top-1 选择，更贴合真实多步查询需求，可直接采用 Precision/Recall/F1/Jaccard 等集合指标评估。
- 在固定智能体目录下，简单线性多标签分类器是强实用基线；无需大模型即可获得较高路由精度，适合低延迟场景。
- 成本约束场景下，在监督打分器之上叠加 Weighted Agent Routing (WAR) 后处理层，能通过成本 tier 阈值调整有效提升效用，且实现轻量。
- 可借鉴 capability-coverage 仿真方法，在离线评估路由系统时模拟智能体失败对系统鲁棒性的影响。
智能体弃权：何时停止行动而非继续交互
🧭 Agent 弃权决策与上下文工程 ★ 深度解读
University of Leeds · Southwest Jiaotong University · University of Washington · Allen Institute for AI
研究LLM智能体在任务不可行时的弃权决策，揭示及时弃权是主要瓶颈，并提出用少量交互轨迹蒸馏停止规则以显著提升弃权效率和成功率。
📌 工作参考价值（4 点）
- 电商对话Agent应具备环境感知的及时弃权机制：当用户需求无法在商品库中满足时（如“买粉色客厅枕头”但无粉色枕头），Agent不应持续无效搜索，而应在首次搜索失败后即停止并提供替代建议，避免浪费推理资源和用户等待时间。
- 利用少量失败轨迹提炼弃权规则：借鉴CONVOLVE方法，用极少（20条）不可行任务的交互日志生成动态“弃权手册”，注入系统提示，可显著提升Agent对不可行需求的及时识别，无需模型重训，适用于快速迭代的在线购物助手。
- 评估指标需侧重及时性：放弃率（AbsRec@K）和路径加权成功率（SPL）比单纯的任务完成率更能反映Agent的决策效率。在电商Agent评测中加入“最早可弃权步”的标注，可精准定位Agent是否过度搜索或过早放弃。
- Agent脚手架设计影响弃权行为：在终端/工具调用场景中，不同的Agent框架（如Codex CLI vs Terminus 2）会显著影响弃权的时机和频率，说明即便基座模型相同，交互循环设计和观测结构也会左右Agent的“止损”能力，推荐场景应选择弃权保守性更适中的框架。
OpenRCA 2.0：从结果标签到因果过程监督
🧭 LLM Agent 评估 · 因果过程监督
The Chinese University of Hong Kong, Shenzhen · Xi'an Jiaotong University · Lero, University of Limerick
首个带逐步因果标注的根因分析基准，暴露 LLM 智能体“无根基诊断”问题
📌 工作参考价值（4 点）
- 对推荐系统故障诊断 Agent，不能只看最终根因准确率，需引入逐步因果验证，检测“无根基诊断”模式，提升决策可靠性。
- 构建内部诊断数据集时，可借鉴正向验证思路：通过注入已知故障，记录因果传播路径，为 Agent 提供步骤级别的监督信号。
- 推荐系统 Agent 面对复杂用户行为序列或系统日志时，同样存在“猜对但推理错”的风险，应在设计中加入链式证据输出与自动核验机制。
- 长上下文理解和多工具协同是 Agent 核心瓶颈，建议在推荐场景中针对性优化对长用户轨迹、多源数据的处理能力。
超越函数调用：工具环境不可靠性下智能体基准测试
🧭 Agent 工具使用可靠性评估与恢复分析
Shanghai Jiao Tong University
提出ToolBench-X基准，系统注入五种可恢复工具风险，揭示Agent在不可靠环境中可靠性大幅下降，恢复能力不足。
📌 工作参考价值（4 点）
- 构建Agent时需模拟工具不可靠性进行鲁棒性测试：工具描述漂移、调用失败、输出异常等在真实API、数据库查询中常见，应设计恢复路径（重试、回退、交叉验证）。
- 评估Agent应超越单步函数调用准确率，关注端到端任务完成率，尤其考虑并行与混合工作流的可靠性。
- 实验表明仅扩大推理预算(test-time scaling)对解决工具不可靠性增益有限，更有效的是增强Agent的故障诊断与恢复逻辑，例如提供恢复提示(hints)能挽救大量失败任务。
- 在搜索推荐等涉及多工具调用的场景（商品API、用户画像、库存查询），可参考ToolBench-X设计结构化故障注入测试集，验证Agent在部分依赖失效时的降级方案。
穿越考验：重新评估 Agent 在陌生环境中的泛化能力
🧭 Agent 评估基准 · 泛化能力探针
University of Oxford · SoftServe · Massachusetts Institute of Technology · The Chinese University of Hong Kong · UK AI Security Institute
提出 GauntletBench 基准，揭示当前最佳 Agent 在时间感知/图形理解/3D 推理任务上仅 19.1% 成功率，远低于人类 80%+。
📌 工作参考价值（4 点）
- 评估泛化缺口：当前推荐/电商 Agent 的评测也易陷入熟悉任务饱和，可借鉴 GauntletBench 设计新维度（如时间感知、图形理解）的任务集，揭示模型在真实业务场景的短板。
- 多模态能力补强：电商 Agent 常需理解 UI、处理含时间序列的数据（如库存变化、促销时段）或分析商品 3D 模型，该基准揭示的视觉推理缺陷提醒我们在构建 Agent 时需重点强化这些能力。
- 模块化评测框架：论文提供的 web 环境、任务套件与自动评测流水线可复用到电商 Agent 测试中，构建可重复、可对比的评测基准，降低人工评估成本。
- 人类基线锚定：用非专家人类表现（>80%）作为参照，量化 Agent 成熟度，帮助业务团队设定合理的自动化预期与优化目标。
Ko-WideSearch：韩语广度搜索基准，评估Web Agent穷举枚举能力
🧭 Agent 广度搜索基准
Upstage AI
提出韩语广度搜索基准Ko-WideSearch，揭示当前Agent擅长找回实体集合但严重缺失行级属性填充
📌 工作参考价值（4 点）
- 可借鉴其自动化合成-验证流水线思路，低成本构建领域内结构化信息枚举任务，用于评估搜索Agent的广度搜索能力。
- 电商场景中常有“列出XX品类下所有品牌及各自属性”需求，可参考该基准的表格化评估方式，同时关注集合完整性与单元格正确性。
- 难度旋钮设计（表格宽度、复合键）可迁移到渐进式任务生成，按需控制Agent需要跨多少页面聚合信息。
- 发现自由文本单元格是主要失败点，提示在业务Agent中应优先优化开放式属性抽取，可考虑结合知识库或结构化提示约束输出。
MEMPROBE：通过隐藏用户状态恢复审计 Agent 长期记忆
🧭 Agent长期记忆的可审计评估 ★ 深度解读
University of Illinois Chicago · KU Leuven · UC San Diego
将 Agent 记忆视为可审计产物，从遗留记忆重建隐藏用户状态，直接量化记忆质量
📌 工作参考价值（4 点）
- 恢复审计评估：对电商客服、推荐对话等 Agent 系统，定期从记忆库中重构已知用户属性（如偏好、历史事实），与真实值比对，而非仅看下游任务指标，直接暴露记忆质量。
- 分离写入与检索诊断：采用“全量导出（dump_all） vs 系统 top-k 检索”的双模式对比，快速定位是记忆写入遗漏还是检索索引不足，指导优化写入策略或检索模块。
- 强化情景记忆绑定：针对用户单次关键交互（如退货纠纷原因），要求记忆系统不仅存储事件表面，还要保留事件与后果的因果链，提升后续个性化推荐的上下文深度。
- 检索感知的整合策略：在写入时即考虑后续检索场景，将原始对话转化为简洁、可检索的结构化摘要，确保关键偏好能在有限的 top-k 召回中命中，避免“存储了却拿不出”的困境。
ShutterMuse：基于多模态大模型的实时摄影指导
🧭 多模态大模型 · 拍摄指导
Fudan University · StepFun
构建拍摄时机摄影指导基准与统一多模态模型，联合优化构图决策与姿态推荐
📌 工作参考价值（4 点）
- 多模态决策+细化联合建模：将构图决策（是否调整）与细化（精确裁剪区域）统一到一个模型，可借鉴到电商场景中，例如商品展示图的自动评估与局部优化，或广告创意的整体布局判断与元素微调。
- 场景条件生成式推荐：通过场景图片生成主体姿态建议，本质上是一种条件生成式推荐。在虚拟试穿、搭配推荐中，可以根据用户输入的场景（如背景、环境）直接推荐合适的姿态、穿搭或商品，提升交互体验。
- 统一多任务减少推理成本：用一个 MLLM 同时处理摄影师侧和主体侧任务，避免多模型流水线。推荐系统中可将召回、排序、解释生成等合并，降低工程复杂度与延迟。
- 结构化视觉标注增强可解释性：训练中加入关键点等结构化数据，使模型输出可执行的视觉指导。可将类似思路用于商品关键属性（如领型、袖长）的结构化标注，提升模型对细粒度属性的控制力。
MAS-PromptBench：多智体系统中提示优化何时有效？
🧭 多智体提示优化基准
Johns Hopkins University
首次系统基准测试多智体场景下的提示优化，揭示其有效条件与敏感性
📌 工作参考价值（4 点）
- 当业务用多智体做商品描述生成、客服协作等时，应先手动设计角色提示再简单微调，仅需少量迭代即可达到大部分收益
- 不同通信协议（如流水线 vs 辩论）对提示优化的敏感度差异大：在高安全要求场景优先采用融合多智体输出再优化的模式
- 团队规模增大时提示优化的边际收益下降，推荐保持 3-5 个角色的轻量架构，避免优化成本指数增长
- 系统提示优化可替代模型微调，快速适应业务变化（如活动主题切换），适合需要频繁调整策略的电商推荐 Agent
面向智能体工作文档推理的档案基准 AGORA
🧭 Agent 文档探索推理评测
Fudan University · Zhejiang University · Shanghai Qiji Zhifeng Co., Ltd.
构建跨域大规模真实档案基准，要求智能体在超长上下文中主动探索检索证据，最强模型仅达59.4%准确率
📌 工作参考价值（4 点）
- 多步探索范式：在电商商品库、政策库等超大规模非结构化文档上构建问答任务时，借鉴其 agent 多轮检索、证据定位与交叉验证的流水线设计，而非依赖一次性长上下文扫描。
- 防泄漏基准构建：采用跨文档任务合成、实体混淆与难度过滤构造评测集，可迁移到内部 agent 离线评估，防止模型记忆导致分数虚高。
- 跨域鲁棒性检验：覆盖农业、金融、法律等 8 个域，提示推荐/搜索系统若接入 agent 需在多个业务域分别评测，避免单域过拟合。
- 上下文窗口超限场景：当文档总量远超模型窗口时，强制 agent 主动探索与选择性检索，为电商导购、客服 agent 在长尾商品/长文档下的策略设计提供参考。
PlanBench-XL：大规模工具生态中LLM Agent长期规划评估基准
🧭 Agent 长期规划评估 · 大规模工具检索
University of Illinois Urbana-Champaign
在1665个工具的零售任务基准上，揭示LLM Agent在检索受限与动态阻塞下长期规划能力的严重退化
📌 工作参考价值（4 点）
- 电商Agent常需在大量API/工具中选择与组合，本基准中的迭代式工具检索-调用-发现子目标范式可直接用于设计推荐/搜索Agent的规划流程，尤其需要将工具描述检索与规划解耦，避免一次性暴露全量工具。
- 阻塞机制模拟了真实服务不可用、返回异常或误导性工具，建议在Agent开发中注入工具调用异常处理与自适应模块，如动态替换失败工具、延长尝试路径，并显式标记错误信号以降低恢复难度。
- 实验发现Agent在缺乏明确错误信号时极易崩溃，值得在业务Agent中强制要求工具返回标准化状态码与可读错误信息，并训练模型利用这些信号重规划。
- 该基准的“长期任务→子目标推断→中间证据收集”闭环，为电商场景中多步推荐（如先查用户画像→再查商品库存→组合优惠规则→生成推荐）提供了可测试的评价范式，可参照构建内部鲁棒性测试集。
OpenBioRQ：面向智能体的未解决生物医学研究问题基准
🧭 智能体工具调用评估 · 忠实性探针
Upstage AI
首个未解决问题与工具调用结合的生物医学Agent基准，揭示~16%引用错误及高难点上的工具弃用崩溃
📌 工作参考价值（4 点）
- 在电商客服/推荐解释Agent中，采用无标准答案的查询评测工具调用忠实性，防止模型记忆答案而跳过检索
- 用经验性困难度锚定（参考模型集体失败的问题）构建高难度测试集，有效暴露工具弃用现象
- 引入冻结的试题检查清单（checklist）大幅提升评估一致性（Spearman从0.35→0.82），可迁移至内部评测流程
- 在最难问题上强制保留工具调用或设置工具使用下限，避免Agent过早放弃工具，保障回答可靠性
超越静态排行榜：面向 LLM Agent 的预测效度评估
🧭 Agent 评估基准与方法论
IBM
揭示聚合排行榜在分布外环境下排名不稳定，提出以预测效度替代平均分评估 Agent 配置
📌 工作参考价值（4 点）
- 评估构建警惕排行榜过拟合：在构建内部 Agent 评估集时，不要过分追求固定基准上的平均分提升；需检验在业务分布变化（如季节、新物品）下的排名稳定性，可借鉴论文的预测效度指标。
- 多维度测量取代单一分数：可参照提出十二层测量装置，覆盖推理、检索、编排等维度，设计针对电商搜索推荐 Agent 的细粒度诊断，避免重要维度被聚合分数掩盖。
- 分布外实验纳入评估流水线：将 OOD 测试作为 Agent 上线前的必要检查，设定可证伪阈值，防止仅在历史数据拟合上优异、线上失效。
- 预注册实验设计提升评估可信度：在关键 Agent 选型中，预先固定评估方案和成功标准，避免事后解释偏差，增强决策说服力。
Multi-LCB：将 LiveCodeBench 扩展至多编程语言的代码生成评估基准
🧭 多语言代码评估基准构建
GigaCode · Yandex School of Data Analysis, Applied AI Institute
将 LiveCodeBench 扩展到 12 种编程语言，揭示 LLM 跨语言代码生成的过拟合与污染问题
📌 工作参考价值（4 点）
- 多语言任务等价转换方法：通过翻译 Python 任务到其他语言并保持评估协议一致，可借鉴用于构建多语言推荐系统的等价测试集，例如将用户查询或物品描述转为多种语言，验证跨语言推荐的一致性。
- 模型过拟合检测：对比模型在 Python 与其他语言的性能差异，发现 Python 过度拟合；在推荐系统中，可通过类似手法分析模型是否过度依赖特定模态或高频特征，识别训练数据偏置。
- 污染感知评估设计：使用时间戳过滤任务，避免训练集污染，该机制可直接用于推荐基准的版本管理，确保评测的公平性和时效性。
- 多语言性能差距分析：暴露的多语言性能鸿沟提示在训练多模态 / 多语言推荐模型时，需平衡各语言的数据配比，并在评估中纳入多语言维度以指导模型优化。
GateMem：多主体共享记忆智能体的记忆治理基准
🧭 多智能体共享记忆治理评估
Jilin University · Shanghai Jiao Tong University · King Abdullah University of Science and Technology (KAUST) · Tsinghua University · National University of Singapore
首创多主体共享记忆治理基准，评估效用、访问控制与遗忘，揭示当前智能体在可靠共享记忆上的不足
📌 工作参考价值（4 点）
- 共享记忆治理是电商/客服多角色Agent（如买家、卖家、平台客服）的刚需：不同主体写入和查询的权限隔离、状态更新与遗忘机制，可直接借鉴GateMem的三维评估框架来设计系统测试集。
- 主动遗忘（active forgetting）能力对电商Agent至关重要：当用户请求删除历史记录或账户注销时，需要确保记忆真正消除，GateMem的遗忘泄露测试方法可复用于验证内部记忆模块的合规性。
- 长上下文提示虽然治理得分更高，但高token成本不适用于大规模推荐/对话系统；检索式内存机制成本低却易泄露，这提示工程上需要混合方案：对敏感记忆用封装API进行精确擦除，对非敏感长语境采用压缩摘要。
- 可借鉴的工程实现：增量记忆注入和隐藏检查点（hidden checkpoints）的评测设计，能度量记忆在连续交互中的漂移和泄露，适用于推荐系统中用户画像的忠诚度与隐私验证。
面向物理科学的深度研究：多智能体框架与综合基准
🧭 多智能体科学推理加速
Shanghai Artificial Intelligence Laboratory · Xiamen University · Chinese Academy of Sciences · University College London · Wuhan University
提出物理科学深度研究基准PhySciBench，并设计多智能体框架DelveAgent，通过自适应规划、双粒度记忆和分层反思显著提升准确率并降低成本
📌 工作参考价值（4 点）
- 模块化多智能体设计可迁移至搜索推荐多步推理：DelveAgent 的自适应规划循环（Adaptive Planning Loop）可直接用于电商搜索中的复杂查询分解与动态规划，比如商品对比、多方约束推荐等需要多步推理的场景。
- 双粒度记忆（Dual-granularity Memory）提升长对话一致性：短期记忆存交互轨迹，长期记忆存领域知识，可借鉴到用户对话系统中，跨 session 保留用户偏好与领域事实，避免重复询问。
- 分层反思（Hierarchical Reflection）实现业务规则自检：物理基础反思机制强制模型验证结果是否符合物理定律，对应电商场景可设计“利润约束反思”“库存约束反思”等模块，降低幻觉，提升推荐合理性。
- 成本降低至 1/3 的工程启发：DelveAgent 在提升准确率的同时大幅降低推理成本，其架构中的知识检索、记忆复用等降本手段，可复用于线上 Agent 的调用优化，减少 LLM 重复推理。
MyPCBench: 个性化计算机代理评测基准
🧭 个性化Agent评测 · 桌面环境
Carnegie Mellon University
首个模拟真实用户数字生活的个性化计算机代理基准，揭示跨应用长链任务的高失败率
📌 工作参考价值（4 点）
- 在电商Agent评测中，可类似构建含用户历史订单、偏好、收货地址的模拟桌面/浏览环境，使评测更贴近真实部署。
- 关注长链跨应用任务（如搜索商品→比价→下单→售后）的评估，模型在这些场景下易失败，需专项优化。
- 引入用户数字踪迹（日历、邮件、聊天记录）作为上下文，可能提升Agent个性化表现，但评测显示当前模型仍难以有效利用。
- 对于需要登录态或隐私数据的工作流，离线模拟环境比在线评估更安全且可重复。
PhoneHarness：混合GUI、CLI与工具动作的手机智能体基准与执行框架
🧭 手机智能体 · 混合动作执行基准
Tencent Hunyuan · The Chinese University of Hong Kong · The Chinese University of Hong Kong, Shenzhen · Tsinghua University
提出混合动作手机智能体基准和执行框架，通过率75.0%，超越仅GUI方法12.9个百分点
📌 工作参考价值（4 点）
- 移动端自动化任务设计：在电商App的自动下单、客服回复等场景中，不应仅依赖GUI视觉操作，可借鉴混合GUI、CLI（设备侧命令）和工具调用的思路，提升动作可靠性与效率。
- 可验证执行与审计：引入“可观察副效应”验证机制（如检查文件是否修改、消息是否发送），确保智能体操作真实生效。电商场景中可类似验证订单是否提交、推送是否发出，避免“看起来很对但实际没做”的风险。
- 动作路由与委托架构：PhoneHarness采用确定性路由与有限GUI委托的代理循环，可作为构建多动作空间购物助手（如既能操作界面又能调用API查询商品）的参考架构。
- 任务完成式评估：其基准设计关注任务完成而非仅答案匹配，可直接迁移到推荐系统多步交互评测，例如衡量购物助手是否真正帮用户完成“挑选并下单”全流程，而非仅给出推荐列表。
RAG基准应细化到何种程度？一种合成问题生成的层次化框架
🧭 RAG评估粒度优化
Emory University
提出HieraRAG层次化框架，通过判别力和一致性比率确定RAG评测的最佳粒度
📌 工作参考价值（4 点）
- 构建内部RAG评估集时，可借鉴层次化粒度框架，在不同问题维度（如复杂度、答案类型）上计算判别力，选取最大化类别间生成质量标准差的粒度，避免过分细分或过粗。
- 一致性比率（Coherence Ratio）可作为维度细分有效性的诊断指标，评估子类别是否继承父类特征，指导电商搜索或Agent问答基准的类别体系设计。
- 合成QA对的生成流程可用于低资源场景，例如从商品说明或客服对话日志中自动生成评估样本，但需结合人工校验确保质量。
- 整个框架可移植，可直接应用到电商RAG、多智体协作等场景，根据自身配置（检索器、生成器）重新测定最佳粒度，降低盲目套用通用基准的风险。
DailyReport：日常搜索任务上评估搜索代理的开放式基准
🧭 Agent 评估基准 · 细粒度与可解释评估
University of Science and Technology of China · Meituan
构造包含150个日常搜索任务与3546条细粒度评分标准的基准，提供可解释的多维评估，揭示现有搜索代理普遍未达用户预期
📌 工作参考价值（4 点）
- 任务分解与级联评分标准：借鉴其子任务分解和级联 rubric 设计，可在电商搜索/推荐代理评估中实现细粒度能力诊断（如商品推荐的准确性、解释质量、多源信息融合能力）。
- 用户中心聚合分数：提出的用户偏好分数可作为离线代理指标，近似真实用户满意度，用于 Agent 的迭代优化或线上 A/B 测试前的快速筛选。
- 17 个系统对比揭示的短板：时效性、多源合成等维度的普遍缺陷表明，在构建电商搜索代理时需特别强化实时信息的抓取与融合机制。
- 数据集与任务构造思路：可从真实用户讨论中挖掘任务，构建贴合电商场景（如比价、商品咨询）的评估集，复现其评估管线。
EvoArena: 追踪记忆演化以提升动态环境中的 LLM 代理鲁棒性
🧭 LLM Agent 鲁棒性 · 环境演化与记忆进化 ★ 深度解读
National University of Singapore · Singapore Management University · University of Washington · University College London · University of Pennsylvania
提出动态环境评测套件 EvoArena 和补丁式记忆机制 EvoMem，通过记录记忆变化轨迹让代理在持续演化的任务中更鲁棒。
📌 工作参考价值（4 点）
- 记忆演化追踪：将记忆更新记录为“补丁”，保留变更前后状态、原因和证据。电商推荐中用户偏好随时间变化，可记录每次偏好更新及触发上下文，用于更精准的长期用户建模。
- 链式任务评估：EvoArena 的链式准确率评估方法要求连续子任务全对才算成功，可借鉴到 Agent 流水线评测，衡量系统在持续变化环境下的端到端可靠性，而非仅看单步指标。
- 版本化状态管理：当系统规则或模型更新时，保留旧版本知识，避免新信息完全覆盖旧信息。在推荐策略迭代或 A/B 测试时，可回溯历史版本行为，支持更稳健的上线决策。
- 补丁检索推理：查询时检索相关历史变更，而不仅用最新记忆，可用于处理时间敏感或条件依赖的任务。例如根据当前上下文检索用户过去的偏好变化轨迹，辅助动态意图识别。
τ-Rec：面向智能体推荐系统的可验证评测基准
🧭 智能体推荐系统评估基准 ★ 深度解读
Independent Researcher · Princeton University
用可验证奖励与 pass^k 一致性指标替代主观 LLM 评判，揭示当前模型在智能体推荐中的可靠性悬崖
📌 工作参考价值（4 点）
- 引入 pass^k 可靠性指标：在电商 Agent 上线前，用 pass^1/pass^2/pass^4 衡量多次执行的一致性，避免仅看单次成功率而低估长期可靠性；可结合回放测试评估模型稳定性。
- 可验证奖励 + 揭示标记引出 (RTE)：将约束打上 volunteer/on_ask/hidden 标签，模拟真实用户不完全表达需求的情景，迫使 Agent 通过多轮对话主动引出偏好，可作为电商导购、客服 Agent 的对话能力测试方案。
- 策略合规性作为第一类目标：将领域政策（如年龄限制、已购过滤、平台可用性、赞助披露）转化为可编程检查，直接审计轨迹，可照搬到电商推荐场景中检查 Agent 是否遵守负面清单、定价限制、合规话术等。
- 后训练截止目录防记忆：使用模型训练后发布的新商品（如 TMDB 2025–2026 电影）构建目录，确保评估不受训练数据泄露污染；电商可定期抓取新上架商品构建动态测试集，隔离泛化与记忆。
SpatialWorld：多模态Agent真实世界交互式空间推理基准
🧭 多模态Agent · 交互式空间推理评测
Tsinghua University · Chongqing University · Peking University · ZenoMind AI · Xi’an Jiaotong University
构建统一基准评估多模态Agent在真实任务中的交互式空间推理，集成8个模拟器、760个人工任务，最强模型成功率仅17.4%
📌 工作参考价值（4 点）
- 统一评估层协议（simulator-agnostic, text-based action interface）可借鉴到多模态Agent评测 pipeline，屏蔽底层仿真差异，聚焦决策能力。
- 任务设计强调 partial observability 与主动探索，类似推荐系统中用户意图不明确时的多轮对话，可参考其“基于当前观察逐步求索”的交互范式。
- 终态验证器（terminal-state verifier）提供可复用的自动化评判模板，用于评估推荐Agent的最终目标达成（如购物车完成态）。
- 主要为学术基准，业务可借鉴点多在评估框架设计，空间推理本身在电商直接应用有限。
M3Exam：真实用户-智能体交互的多模态记忆基准测试
🧭 多模态长期记忆评估与模态感知检索 ★ 深度解读
The Hong Kong University of Science and Technology · Beijing University of Chemical Technology · Harbin Institute of Technology (Shenzhen) · Beijing Institute of Technology (Zhuhai) · Tencent Hy
首个多会话多模态记忆基准M3Exam及模态感知方法M3Proctor，按需使用原始视觉提升13%准确率且token减少70%以上
📌 工作参考价值（4 点）
- 模态感知级联检索：电商Agent可借鉴M3Proctor的查询模态偏向检测，先用文本替身回答，仅在需要时加载图片/文档，大幅降低多模态推理token成本。
- 记忆索引优化：将图片转为caption、文档转为digest作为文本替代品，并附加模态标签，结合偏向重排序提升跨模态检索精度，适用于多模态商品知识库的RAG。
- 长会话记忆摘要：通过紧凑的session summary维持跨会话线索，帮助电商智能客服在多轮对话中保持用户长期记忆，避免上下文断裂。
- 隐式意图评估设计：引入Implicit Inference和Thematic Reasoning题型，可移植到推荐系统长期用户理解的评测中，检验模型从非明确信息推断偏好与状态的能力。
AdaPlanBench：LLM代理在动态双重约束下的自适应规划评测
🧭 Agent 自适应规划评估 ★ 深度解读
University of Illinois Urbana-Champaign
首个动态交互式基准，评估LLM代理在逐步揭示的世界与用户双重约束下的自适应重规划能力。
📌 工作参考价值（4 点）
- 交互式约束揭示机制可用于推荐系统用户偏好挖掘：论文中代理仅当规划违反隐藏约束时才收到反馈，这种按需揭露的方式可迁移至对话式推荐，动态获取用户隐式偏好，避免一次性询问过多问题。
- 双重约束框架适用于电商场景的策略规划：用户约束（如偏好、预算）和世界约束（如库存、物流）的分离建模，可作为多约束下商品组合、优惠券分发的决策训练范式。
- 约束累积导致的性能衰退提示需设计健忘缓解策略：实验表明代理在交互中期容易遗忘已揭示约束，推荐系统在多轮对话中同样需要维护约束记忆，可借鉴其显式约束追踪模块的设计，但需注意仅追踪仍不足以最终成功，还需配合重规划能力。
- 用户约束的难度显著高于世界约束：在推荐或Agent业务中，应更加注重用户偏好的建模与动态更新，例如引入专门的用户偏好消化模块，或对用户约束赋予更高优先级。
ForeSci：评估LLM智能体前瞻性AI研究判断的时序基准
🧭 Agent 前瞻性判断评估基准
Southeast University · Beijing Zhongguancun Academy · Duke Kunshan University
构建时间屏蔽的基准，揭示LLM代理在做前瞻研究决策时证据组织提升可追溯性但存在证据-决策脱节问题
📌 工作参考价值（4 点）
- 时间屏蔽的离线知识库构建：在电商推荐场景中，可借鉴其按时间切割数据的方式，构建严格避免未来信息泄露的离线评估集，评估模型对用户未来兴趣的预测能力。
- 显式证据组织提升可解释性：论文表明让Agent显式组织证据（如引用历史论文片段）能增强事实支撑，可迁移到电商Agent的决策链设计，例如要求推荐Agent在输出商品列表前必须引用用户历史行为证据，提升可追溯性。
- 证据-决策对齐校验：发现的脱节问题（证据相关但预测错误）提示在实际Agent部署中应引入一致性校验模块，比如在营销决策Agent生成文案时，自动比对引用的数据点是否真正支持结论，防止“合理却错误”的输出。
- 任务设计避免随机猜测：通过预截止分类线索和证据信号衍生任务，而非直接预测特定事件，该设计思路可复用于构建多决策类型的推荐Agent评测（如选品、定价、引流策略），使评测更具可控性。
基于标准化病人案例的动态临床决策大语言模型评估
🧭 临床代理动态交互评估基准
Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory
提出 MedSP1000 交互式基准，用标准化病人闭环仿真评估 LLM 临床代理能力，暴露静态基准无法捕获的失败模式
📌 工作参考价值（4 点）
- 在电商 Agent 评估中，可借鉴标准化用户脚本构建闭环仿真环境，让 Agent 与用户代理、环境控制器持续交互，用预先定义的评分细则评估每一步决策，而非仅看最终结果。
- 过程级评价比单轮静态测试更能暴露 Agent 在信息收集不充分、规划缺失、状态适应等方面的失败模式，适合用于对话式推荐、客服 Agent 等场景的离线评测。
- 用领域专家审核的脚本和评分标准（类似医学教学案例的书面评分细则）来构造评估数据，保证评测的客观性和可复现性，这比人工主观判断更可靠。
- 实验发现增加测试时计算（如链式推理）对 Agent 性能提升有限，提示在推荐/对话 Agent 中，单纯堆叠推理步数可能不是最优解，需从训练数据或架构上增强长期规划和状态跟踪能力。
智能体的最终考试：面向真实经济工作流的通用Agent评测基准
🧭 Agent通用计算机使用能力评测基准 ★ 深度解读
University of California, Berkeley
覆盖55个职业子领域、1490个专家提交任务，评测Agent在长时程多模态计算机操作上的表现，最强模型整体通过率仅2.6%。
📌 工作参考价值（4 点）
- 任务设计范式：将专业工作流拆解为可验证的交付物和里程碑（gate-and-score），可直接用于构建电商客服、商品上架等Agent评测，避免LLM-as-judge的不可靠性。
- 工具使用剖析：发现Agent普遍用CLI代替GUI，导致在图形软件密集型任务上失败，提示在电商自动化（如美工、合规审查）中需显式强化GUI操作能力。
- 模型vs框架选择：模型对性能影响是框架的3倍，且资源消耗（时间、金钱）与成功率非正比，可指导选型——先用轻量框架+最强模型，再针对性优化工具集。
- 数据防污染：公共/私有任务池定期轮换，可借鉴到生产环境的Agent能力监控，防止过拟合或数据泄漏。
HLL：多模态智能体能否跨越人类验证的最后一道防线
🧭 多模态Agent · 验证边界与交互鲁棒性评估 ★ 深度解读
上海交通大学 · 山东大学 · 同济大学
构建CAPTCHA交互基准，分层评估多模态智能体在验证边界上的感知、动作与过程一致性。
📌 工作参考价值（4 点）
- 电商Agent评估应引入分层现实性压力（页面干扰、难度、动态验证），暴露定位与动作精度短板，而非仅看最终结果。
- 借鉴动态验证机制（轨迹连续性、目标中心一致性、重复错误检测），可在订单提交等工作流中确保Agent的操作过程合法，防止“猜对答案”式的成功。
- 失败模式分类（感知解码、目标定位、动作校准、状态跟踪）可直接用于诊断电商Agent在表单填写、按钮点击等场景中的具体瓶颈，指导模型迭代。
- 通过注入弹窗、广告等干扰元素进行压力测试，可提升Agent在真实杂乱电商网页上的抗干扰能力，类似HLL的干扰轴设计可复用到自建评估集。
Ψ-Bench: 评估基于画像的个性化说服对话能力基准
🧭 个性化代理 · 说服性对话评估 ★ 深度解读
University of Illinois Urbana-Champaign
提出Ψ-Bench，通过模拟个性化客户评估LLM在说服性对话中的画像敏感影响能力
📌 工作参考价值（4 点）
- 电商客服或营销对话中可借鉴画像驱动的评估框架：用合成用户画像模拟真实客户，并用LLM裁判评估对话的个性化和说服效果，替代或补充人工评估。
- 在对话推荐或主动推送中，可部署轻量级画像分析器（如RL训练的小模型）从用户历史对话中实时推断偏好，动态调整话术，提升转化。
- 发现即使强模型在缺乏用户特定信息时说服力有限，意味着在生成式推荐或对话代理中，显式用户建模（如行为序列、长期偏好）比单纯提升生成质量更关键。
- 评估指标设计上，将“个性化响应水平”作为中间指标，与最终效果强相关（ρ=0.77），可在业务中用作可解释的离线代理指标，降低线上实验成本。
通用 Agent 能否自动化数据策展？
🧭 Agent 自动化数据策展评估 ★ 深度解读
Virginia Tech · University of Illinois Urbana-Champaign · University of Wisconsin-Madison · University of California, Berkeley
引入 CURATION-BENCH 基准，发现通用 Agent 能执行数据策展但探索窄，方法适应支架可引导突破
📌 工作参考价值（4 点）
- 在推荐数据管道中引入 method-adaptation scaffold：强制 Agent 每轮迭代引用、适配一项已有方法，可避免陷入局部超参（如域权重）调整，驱动真正的新策略探索。
- 将 迭代式数据策展 作为新的计算维度：当数据预算固定时，将额外算力投入搜索更优的数据子集或重写策略，可能优于直接训练更多数据，这在电商推荐中可用于高效利用有限交互样本。
- CURATION-BENCH 的 数据隔离 + 污染审计 + 轨迹诊断 设计，可直接迁移到构建推荐数据选择 Agent 的测试框架，确保可比性与可审查性。
- 轻量策略列表（源平衡、质量过滤、多样性采样等） 可帮助 Agent 快速生成候选，但需配合约束性协议（如强制证据锚定）才能真正改变执行行为，避免“vibe optimization”。
SkillHarm：面向技能生命周期的 Agent 攻击基准与自动化构建
🧭 Agent 技能安全 · 自动化攻击基准
The Ohio State University · Amazon AGI · Stanford University
首个覆盖技能使用生命周期的攻击基准，揭示固定与自变异投毒下 Agent 高达 86.3% 的攻击成功率
📌 工作参考价值（4 点）
- Agent 技能安全评估框架：若业务中使用第三方 Agent 技能（例如 MCP tools、自定义插件），可借鉴 SkillHarm 定义的 12 类风险（数据管线、系统环境、自主决策）和两种投毒场景（FPP/SMP），设计内部红队测试用例。
- 自变异投毒（SMP）的低噪音特性：SMP 初始不触发恶意行为，在后续复用中才爆发，与电商推荐中长效特征污染攻击类似，可思考如何在模型更新、特征缓存下设计延迟投毒检测机制。
- 自动化投毒样本生成管道：AutoSkillHarm 利用自然语言 harness 驱动 coding agent 批量构造攻击样本，可迁移到业务安全测试中，自动生成针对内部 Agent 流水线的变异攻击数据。
- 失败模式提示防御盲区：论文发现攻击失败多因 Agent 未执行投毒文件而非真正抵抗力，启示工程防御需加强技能加载阶段的静态分析（如 manifest 检查、沙箱预执行），而非仅依赖运行时行为监控。
从提示注入到持久控制：防御智能体框架中的特洛伊后门
🧭 LLM Agent安全：多步注入攻击与防御
Gaoling School of Artificial Intelligence, Renmin University of China
揭示多步特洛伊攻击范式，提出ClawTrojan基准和DASGuard防御方法，实现95.5%攻击成功率与强动态防御
📌 工作参考价值（4 点）
- 在构建本地智能体工具（如文件读写、API调用）时，需考虑跨步骤的上下文攻击：单步无害的注入可能被持久化并延迟执行，防御应追踪数据来源和传播。
- DASGuard的防御策略可借鉴：扫描敏感文件中的控制类文本（如指令、代码），追溯其来源，若非可信源则移除或净化，结合运行时阻断和提交清洁。
- 设计Agent系统时，应区分可信与不可信数据源，对来自外部文件或工具输出的内容进行沙箱处理，避免污染工作空间状态。
- 对于电商场景中的Agent（如自动客服、订单处理），防止通过用户输入或外部文档植入的后门，可借鉴ClawTrojan的攻击场景进行安全评估。
架构敏感监督微调用于屏幕条件动作预测：PiSAR 基准
🧭 屏幕条件动作预测 · 架构敏感微调
AprioriLabs
微调 Qwen3-VL-8B 在屏幕动作预测上语义相似度 0.783，远超零样本前沿模型，并暴露微调效果对模型架构高度敏感。
📌 工作参考价值（4 点）
- 任务特定微调远胜零样本大模型：在屏幕行为预测这类高度领域特定的任务上，即使前沿视觉语言模型（Claude/GPT）的零样本表现也远不及单一 LoRA 微调的小模型。对于电商界面优化、Agent 动作规划等场景，必须用自己的领域数据做微调，不能依赖通用大模型的零样本能力。
- 基座模型选择是关键：相同数据和微调方法在 Qwen3-VL-8B 上达到 0.783，而在 Gemma-4-26B 上仅 0.441，差距巨大。在落地时，应优先在小规模、非推理调优的视觉模型上尝试微调；推理调优后的大模型抵抗微调信号，可能需要更多数据或更强的微调方法（如更深的参数干预）。
- 轻量级模型可实现低延迟部署：8B 微调模型达到亚秒级调用延迟，适合实时动作预测。在需要根据当前屏幕状态快速决策的场景（如智能客服指引、购物车优化）可直接采用。
- 数据构建方法论可借鉴：PiSAR 数据集由用户评价、人口统计和购物行为轨迹编织而成，为构建屏幕-行为-意图对齐数据提供了可复用的工程模板。
个人视觉记忆：从显式与隐式证据中学习
🧭 多模态记忆 · Agent 长期记忆评估 ★ 深度解读
Johns Hopkins University · University of Wisconsin-Madison · Adobe Research
提出首个面向个性化AI助手的视觉记忆基准，并设计混合视觉-文本记忆架构显式保留身份与所有权
📌 工作参考价值（4 点）
- 图片记忆不应沦为caption：现有记忆系统将图像转为文本描述，丢失身份、所有权等关键视觉信息。你的电商/Agent场景若涉及用户上传图片（如服装、家居），应保留结构化视觉特征，而非仅存文本摘要。
- 延迟提交机制值得工程化：当图像信息不足以立即判断时，不急于提取结构化记忆，而是暂存pending状态，待后续多张图像累积证据后再统一解析。这一trick可迁移到用户多轮上传图片的商品识别、搭配推荐等场景。
- 结构化视觉记忆的模块设计：将记忆拆成relationship、entity、fact三个层级，分别存储社交关系、物体/宠物实例、持久化用户事实，按需路由。电商场景可类似设计：从用户晒图中抽取拥有的商品、偏好风格（实体/事实），而非仅用文本embedding。
- 利用合成数据构建视觉记忆评估管线：论文用一致化角色-场景-物体图像生成pipeline构建有多distractor的长会话，可借鉴用于Agent记忆能力的离线评测，避免隐私风险。
PEFT-Arena：从稳定性-可塑性视角评估参数高效微调
🧭 参数高效微调的稳定性-可塑性权衡与几何分析 ★ 深度解读
The Chinese University of Hong Kong · Westlake University · MPI for Intelligent Systems
提出 PEFT-Arena 基准，揭示 PEFT 方法的稳定性-可塑性权衡，正交微调 (OFT) 展现最佳前沿。
📌 工作参考价值（4 点）
- 评估 LLM 微调时需同时监控通用能力遗忘：业务中仅看下游指标会高估微调收益，建议加入指令遵循、知识问答等通用 benchmark 作为稳定性指标，避免模型被破坏。
- 优先选择结构化参数化方式：在同等参数量下，正交微调 (OFT) 比 LoRA 变体更有利于保留预训练能力。若需要做领域适配（如电商商品知识、客服话术），可考虑 OFT 或 Cayley 参数化，其谱保持性质能减少对通用能力表示几何的扭曲。
- 用插值路径诊断过冲并后验修正：SFT 末期常出现过冲，最佳权衡点早于最终 checkpoint。可用沿更新路径（加法方法缩放 ΔW，OFT 缩放 Cayley 生成元）插值，找到更优的稳定性-塑性点；也可对 OFT 按层重缩放生成元，校正层间更新不平衡，在不额外训练的情况下恢复部分遗忘的通用能力。
- 用激活空间几何指标监控遗忘：Procrustes 残差、线性 CKA 等可用于检测微调对通用数据表示结构的扭曲程度，可作为离线评估的一部分，指导早停或超参选择。
同一问题，不同来源，不同答案：审计医疗多源RAG中的源依赖性
🧭 多源RAG评估 · 源依赖性审计
Carnegie Mellon University
将RAG评估从单答案正确性转向源间关系审计，揭示多源异质性被严重低估
📌 工作参考价值（4 点）
- 多源RAG审计框架可直接迁移至电商问答：当知识库包含不同商家政策、商品描述时，检测答案源依赖性，避免单一来源给出误导性高置信回复。
- HERO-QA层次化检索和结构化输出judge的设计可复用于多源知识库冲突检测，在电商产品推荐解释、政策问答中自动标注答案一致/矛盾关系。
- 5标签源间关系分类法（一致/互补/部分重叠/矛盾等）适合作为Agent或推荐系统多路召回融合的后处理标准，用于冲突消解或多角度信息呈现。
- 启示：更好的检索会暴露更多分歧，业务中盲目提升召回而不审计源依赖性可能放大风险，需建立持续监控体系。
WorldMemArena：通过动作-世界交互评估多模态Agent记忆
🧭 多模态 Agent 记忆评估 ★ 深度解读
University of California, Santa Barbara · J.P. Morgan Chase · ETH Zurich · Stanford University · Johns Hopkins University
提出将多模态Agent记忆建模为动作-世界交互循环，构建覆盖写入、更新、检索、使用四阶段诊断的基准
📌 工作参考价值（4 点）
- 记忆评估应分解为写入、更新、检索、使用四个阶段，避免仅看最终问答分数，帮助在电商对话Agent中精确定位失败点（如偏好更新延迟、证据检索错误）。
- 多模态记忆（商品图、界面截图）不可简单压缩为文本，需保留视觉细节，否则关键信息丢失会直接影响推荐与问答质量。
- 记忆维护需支持修订和遗忘，而非单纯追加；电商中用户兴趣变化、商品状态更新等需及时覆盖，防止过时知识干扰决策。
- 自管理记忆（harness）更灵活但成本高，可结合场景采用混合策略：核心任务用结构化记忆，长尾交互尝试自主管理，平衡效果与开销。
小巧而可靠：高效视觉-语言推理用于时间序列异常检测
🧭 时间序列异常检测 · VLM微调
University of Illinois Urbana-Champaign · Sandia National Laboratories
构建带推理标注的时序异常检测benchmark并微调参数高效VLM，精准率和F1分别提升21和24个百分点以上。
📌 工作参考价值（4 点）
- 电商系统监控（如流量、转化率时序）可借鉴：将时间序列可视化为图表，用微调的VLM（如LoRA）进行异常定位与解释，降低对传统统计方法的依赖。
- 构造高质量推理标注的方法可复用：利用多个大VLM生成候选解释，再基于细粒度任务奖励筛选优质标注，提升训练数据的可解释性。
- 参数高效微调（预计用了LoRA等）使小模型也能继承大模型的推理能力，适合资源受限场景，可迁移到电商中不用推理大模型 online。
- 主要是学术贡献，业务可借鉴点有限，但思路可用于需要透明决策的监控类应用。
AgenticVBench：评估视频后期制作中多模态 AI 代理的基准
🧭 多模态代理 · 视频后期制作基准 ★ 深度解读
Philo Labs Research
首个覆盖视频后期全流程的代理基准，揭示脚手架设计对代理性能的一阶影响
📌 工作参考价值（4 点）
- 脚手架（harness）是一阶变量：同一模型在不同脚手架下的得分差距可达20个百分点。在构建电商/Agent系统时，应像重视模型选型一样重视底层工具链和规划循环的设计。
- 为多模态代理提供专用工具原语：OpenClaw提供的image、tts、video_generate等类型化原语在Sequencing任务中胜出，而通用shell工具使模型在Assembly上表现差。构建电商视频处理或广告合成的Agent时，应封装高层级、参数化的多模态操作，而非让模型从零编写ffmpeg命令。
- 代理失败模式分析指导工程方向：Repurpose任务中83%的失败源于长上下文信息丢失，Repair中24%由模态错位导致。在电商场景中，类似的产品视频压缩或修复任务应优先设计更鲁棒的长期记忆和跨模态对齐机制。
- 基准设计覆盖真实工作流：任务源于20位行业专家的日常流程，涉及0.5小时到一周的人力耗时。这种设计方法可迁移到电商售后、内容生成等Agent任务的真实度校验——从从业者工作流出发定义任务和评分标准，避免脱节。
ForestHG-Trace：大规模森林场景中可追踪的长期生态推理框架
🧭 Agent 长期推理 · 工具增强 · 可审计执行
Xi'an Jiaotong University · Xidian University · Zhejiang University
用生态超图和工具增强的 LLM Agent 实现可审计的长期推理，将问答转化为可执行分析流程
📌 工作参考价值（4 点）
- 工具化推理链可移植至电商分析 Agent：将复杂查询拆解为过滤、聚合、比较等确定性原子工具，每条操作可追踪和审计，适用于竞品分析、用户行为归因等场景。
- 超图表示捕获高阶关系：使用超图建模实体间的多边交互（如用户会话超图、商品共现超图），比场景图更能表达复杂的生态或业务结构，可提升 Agent 对上下文的推理精度。
- 执行深度是长链推理的核心瓶颈：论文指出多步工具调用的深度显著影响成功率，提示在 Agent 工程中需重点优化长链规划、中间状态管理和错误恢复。
- 构建可执行的评估基准：为 Agent 推理任务设计带有中间步骤验证的 Benchmark（如 ForestTraceQA），可借鉴到电商领域构造复杂查询的审计型评测集，推动模型从端到端预测转向可验证执行。
VibeSearchBench：面向长程主动搜索的渐进式意图评测基准
🧭 长程主动搜索 · 渐进式意图澄清 ★ 深度解读
Xiaohongshu Dots Studio · Unipat AI
提出VibeSearch范式与VibeSearchBench基准，通过多轮渐进式用户模拟与图匹配评估揭示当前模型主动搜索能力严重不足。
📌 工作参考价值（4 点）
- 电商搜索体验升级：VibeSearch 的“模糊意图→多轮渐进澄清”恰好对应电商中消费者“不确定想买什么→通过浏览交互逐步明确需求”的典型行为，可直接将 VibeSearchBench 中的用户角色设计与渐进式意图触发机制迁移到电商搜索 Agent 的评测与训练中，驱动从被动答询到主动引导的范式转变。
- 知识图谱评测框架复用：图匹配评测不依赖固定 schema，能客观度量检索结果对复杂实体关系的覆盖。在生成式推荐或商品知识库问答中，可借鉴此方式评测输出结构化信息的精确度与召回率，避免自由文本评测的不稳定性。
- Agent 交互成本诊断：实验表明，过多工具调用与上下文压缩反而损害性能（如 GPT-5.4 存在“冗长输出→上下文溢出→信息丢失→重复搜索”的恶性循环）。在构建电商客服或购物助手 Agent 时，应监控 #Asst/#User 比值与压缩频率，寻找资源消耗与性能的 sweet spot，避免盲目堆叠多步推理。
- 记忆与子代理机制的实际效果：OpenClaw 的 local/lifelong memory 与 sub-agent 并未显著提升 VibeSearch 性能，说明现有架构增强不能弥补模型本身在长文本整合与意图追踪上的缺陷。这提示在业务中若遇到类似多轮复杂任务，应优先投入提升基座模型的上下文理解能力，而非过度依赖外部记忆工程。
异步工具调用基准：多任务场景下的异步函数调用能力评估
🧭 Agent异步工具调用评测与多任务协调 ★ 深度解读
University of Science and Technology of China · University of Toronto
提出首个交互式多任务环境下含延迟的异步工具调用基准，揭示延迟反馈显著降低LLM代理性能。
📌 工作参考价值（4 点）
- 电商客服或订单处理等多API场景下，可参考异步任务交错策略提升吞吐，利用Same‑task Streak指标评估Agent的调度效率。
- 延迟反馈下模型易因过早继续任务而违反依赖，工程实现中需引入显式依赖图、任务状态表防止非法调用。
- 多任务下小模型常遗忘未完成子任务，可设计外部任务队列或滑动记忆窗口避免任务丢失。
- 工具混淆错误频发，建议按任务类型隔离工具命名空间，并用工具调用前检验上下文的提示减少误用。
OmniInteract：面向实时全模态助手的流式交互评测基准
🧭 实时多模态交互评测 · 流式视频理解 ★ 深度解读
CUHK MMLab · SJTU · NTU · McMaster · CityUHK
首个通过原生在线流式推理评估全模态LLM的交互基准，系统衡量响应时机、中断处理和嵌套对话能力
📌 工作参考价值（4 点）
- 交互评估体系可直接复用：定义 interaction slot（trigger、response window、target answer）和 IA-QTF1 指标，综合衡量回答内容、时机和不当输出（spill、早响幻觉），可用于评估电商客服助手、直播推荐 Agent 的实时交互质量
- 原生在线推理范式对 Agent 部署有启发：要求模型仅依据已发生流内容决策，禁止未来窥探，这对构建真实场景下的生成式推荐或对话式 Agent 有直接指导，避免离线假设导致的性能高估
- 全双工中断与嵌套交互分析：通过 Interruption Diagnostic Suite 和 Nested Chain Completion Score，量化模型在被打断后的沉降与上下文恢复能力，可借鉴其设计思路优化多智体协作或用户频繁打断场景下的响应策略
- 离线能力≠在线表现：实验发现 MiniCPM-o 从离线到在线数学推理质量下降 0.3358，提示业务迁移时需专门评估在线流式性能，不能仅依赖离线基准
VitaBench 2.0：长期用户交互中个性化与主动智能体基准
🧭 大模型智能体个性化与主动性评估基准 ★ 深度解读
National University of Singapore · Meituan · University of Science and Technology of China · Beijing University of Posts and Telecommunications · Zhejiang University
提出面向长期交互的个性化与主动性评估基准，揭示前沿LLM智能体在偏好推理、记忆利用和主动交互上严重落后于实际需求。
📌 工作参考价值（4 点）
- 个性化评估维度拆解：在推荐或对话智能体设计中，可借鉴本工作将个性化能力分解为偏好提取（从隐式行为中推理）、利用（决策时遵循偏好）和更新（应对偏好漂移）三个可量化环节，构建分层评估与诊断体系。
- 记忆机制的现实瓶颈：实验表明无论 Agentic Memory 还是 RAG Memory，当前模型在长期交互中都无法有效利用记忆，反而导致性能下降（Avg@4 低于 Full Context）。在业务系统中应避免过度信任记忆，需配套主动压缩、冲突消解和多轮校验策略。
- 主动交互是差异化能力：主动任务得分比个性化任务低 ~40%，模型往往在信息缺失时强行决策而非发起澄清。在电商导购或售后场景，可显式训练/提示智能体识别“信息缺口”并触发追问，提升用户体验。
- 偏好利用比提取更难：即使提供真实偏好，Strong Model 也只有约 50% 的 Pass@4，说明模型难以在复杂工具调用中持续遵循偏好。在生成式推荐中，可考虑将用户偏好向量绑定到工具选择与参数生成的全链路，而非仅作为上下文。
OpenSkillEval：自动审计 LLM Agent 开源技能生态
🧭 Agent 技能生态审计与评估 ★ 深度解读
Singapore Management University · Fudan University · JD
提出动态任务生成与轨迹‑产出联合评测框架，揭示技能可用≠有效使用，且收益强依赖模型与设计先验
📌 工作参考价值（4 点）
- 技能不一定带来提升，选型前需实测：许多社区高分技能在实际任务中并未超越无技能基线，且会增加 3‑5 倍 token 开销。在电商 Agent 中引入生成式推荐或工作流技能前，应先在自身任务上做成本‑性能对比。
- 设计先验比流程约束更重要：对视觉类输出（商品图、海报、详情页），技能内嵌的模板、参考代码等设计资产能有效拉高低能力模型的下限，而强约束（大量 MUST/NEVER）常导致多样性下降。可借鉴“资产优先”思路构建内部技能库。
- 推理密集型任务需提供分析框架：当前报表、数据洞察类技能因缺乏假设检验、对比分析等分析框架，增益有限。若用 Agent 做评论分析、销量归因，技能应嵌入因果推断步骤或统计检验模板，而非仅提供工具链。
- 动态评测比静态基准更贴近业务：论文自动从真实网页、数据集反向生成任务实例，保持用例与用户需求同步。电商场景可类似地利用商品链接、Campaign 素材自动构建 Agent 评测集，持续跟踪能力变化。
FashionLens：面向多功能时尚图像检索的任务自适应学习
🧭 多模态时尚检索 · 任务自适应表示与采样 ★ 深度解读
Harbin Institute of Technology (Shenzhen) · City University of Hong Kong · Southern University of Science and Technology · Nanjing University · National University of Singapore
提出任务自适应学习框架，通过球面查询校准与梯度引导采样解决多任务检索中的特征干扰与优化失衡，性能全面领先。
📌 工作参考价值（4 点）
- 梯度引导自适应采样 (GGAS)：利用 [RET] token 的梯度范数目衡量任务实时难度，并用 EMA 平滑后结合数据集大小先验重新加权采样概率，可迁移至电商多任务模型（如同时优化点击率、转化率、互补推荐）以自动平衡高资源与高难度任务，避免小样本任务欠拟合。
- 球面查询校准器 (PGSQC)：通过信息瓶颈结构生成意图感知的适应提议，再使用自适应球面线性插值动态旋转查询表示，使同一模型能灵活适配相似、搭配、属性筛选等不同检索意图。可在生成式推荐的多场景召回中借鉴，用可学习的插值系数替代硬路由，减小特征冲突。
- 统一多模态指令框架：基于 MLLM 将图片、文本、视频、多图组合及修改文本等多样化查询输入纳入统一编码，并使用自然语言指令显式指定检索意图，为构建电商通用搜索或 Agent 工具调用提供了清晰模板，便于扩展到视频摘要、对话式搜索等复杂交互。
- 异构数据整合 Benchmark 构建：U-FIRE 通过人工设计指令模板将 15 个碎片化数据集标准化，并加入两个未见过的组合任务评估 OOD 泛化，可直接用于电商领域多任务模型的全方位测试与上线前的鲁棒性验证。
探究数据时序性对大语言模型预训练的影响
🧭 时序数据预训练优化
Kyutai, Paris
通过预训练6B模型发现，按时序排列数据训练能显著提升模型的时间知识准确性，且不影响通用能力。
📌 工作参考价值（4 点）
- 时序数据组织：在电商搜索或推荐模型的持续预训练中，可将商品语料按发布时间排序，使模型隐式学习时间对齐的知识，提升对新品、季节性趋势的捕获能力，避免依赖频繁的增量微调。
- 评价协议设计：可借鉴提出时间敏感问答基准的思路，构建电商领域的时间相关评测集（例如“2023年夏季流行款式”对应正确季节），用于检测推荐系统或Agent的时间感知准确性。
- 训练效率权衡：实验表明按时序训练与普通打乱训练相比，在通用理解任务上表现相当，但知识保鲜度更高。对于需要低成本保持知识新鲜的业务，可直接采用时序预训练，无需额外的中期继续训练阶段。
- 负面发现启示：打乱顺序训练会让模型更擅长记忆旧数据，可能因为重复事实更多；在构建电商语料时，若希望模型更关注近期数据，应避免过度打乱，或结合时间加权采样。
煮蛙效应：面向智能体安全的多轮基准测试
🧭 Agent 安全评估·多轮对抗攻击
Icaro Foundation · Sapienza University of Rome · Sant’Anna School of Advanced Studies · Tongji University School of Law · VU Amsterdam
评估工具型AI在办公场景下对逐步升级攻击的脆弱性，多模型平均严格攻击成功率44.4%
📌 工作参考价值（4 点）
- 可以借鉴“煮蛙”思路，在电商 Agent 测试中设计多轮逐步升级的恶意指令链，检查智能体是否会在不经意间执行高危操作（如修改库存、泄露用户数据）。
- 评测方法强调状态化评估，关注最终环境状态是否变为不安全，而非单轮回复，适用于评估订单处理、客服等有持久状态的 Agent 系统。
- 风险分类参考欧盟 AI 法案，可为合规审计提供框架：按操作风险等级构建测试场景，识别 Agent 在关键业务域的安全薄弱点。
- 攻击链中延迟注入风险请求的编排方式，可用于生成对抗训练数据，提升自研推荐/搜索 Agent 对长程诱导攻击的鲁棒性。
DeepWeb-Bench：需大规模跨源证据与长程推导的深度研究基准
🧭 深度研究智能体评估与诊断 ★ 深度解读
Peking University
提出一个包含矩阵任务、溯源记录和校准维度的深度研究基准，揭示检索非瓶颈、推导与校准才是主要挑战。
📌 工作参考价值（4 点）
- 电商/市场分析Agent构建：可复用矩阵任务格式（实体×分析维度）和四能力（检索、推导、推理、校准）设计，用于自动生成竞品报告或行业分析。
- 信息抽取可靠性：引入源溯源等级（T1-T4）和跨源一致性检查，可作为电商知识库或RAG系统的证据可信度评估模板，减少幻觉。
- 工程实现启发：发现检索并非瓶颈，应重点投入多步数值组合与校准逻辑，例如在推荐系统的归因分析或财务推演Agent中显式要求推导步骤。
- 领域专长差异：模型在不同品类表现差异大（相关仅0.61），提示为细分场景（如新能源车、芯片）定制微调或专用提示链，而非通用方案。
感知还是偏见：多模态大模型能否超越人格第一印象？
🧭 多模态大模型人格推理评估
The University of Tokyo · Shanda AI Research Tokyo · Dalian University of Technology
发现MLLM人格评分准确率与证据接地率严重脱节，51%正确评分非基于证据，提出接地人格推理基准揭示偏见差距。
📌 工作参考价值（4 点）
- 借鉴接地评估范式：在推荐或Agent用户建模中，不仅要评估预测准确率，还应强制模型提供行为证据，检查预测是否基于真实线索而非表面统计相关，避免模型学到虚假关联。
- 多智能体+人工验证数据构建：本文使用多智能体管道生成带时间戳行为观察和证据分析的数据集，可复用于电商评论分析或Agent行为理解的训练数据构建，确保证据对齐。
- 失败模式诊断指标：偏见率、虚构率、整合失败率等指标可直接迁移到推荐解释或Agent决策可解释性评估中，监控模型是否在“猜对答案却用错理由”，提升系统可信度。
- 接地型推理链设计：评分→推理→接地的链条可嵌入推荐理由生成或Agent的决策解释模块，要求模型关联具体行为证据，缓解幻觉和刻板印象。
TerminalWorld：从终端录屏自动生成真实任务评估基准
🧭 面向终端 Agent 的可扩展评估基准
University College London · Nanjing University · Tencent
通过逆向工程 8 万终端录屏，构建可扩展的真实终端任务基准，揭示现有 Agent 最高仅 62.5% 通过率。
📌 工作参考价值（4 点）
- 从真实录屏构建评估数据引擎的范式可复用：在电商场景中（如 CLS 日志、运维操作记录、推荐流程重放），可逆向生成高保真的 Agent 评估任务，避免人工设计的主观性和偏差。
- 多步工作流评估揭示真实能力短板：基准包含超 50 步的任务，类似电商订单处理、多系统查询的复杂流程，可用于测试 Agent 在长程依赖、错误恢复上的表现。
- 弱相关验证现有基准的局限：与 Terminal-Bench 仅 0.20 相关性提示自建基准可能更贴近线上真实分布，在评估生成式推荐或 Agent 时，应考虑从生产数据采样而非完全依赖通用榜单。
- 自动化质量保证思路：采用环境重建、输出校验与人工验证的混合流程，可借鉴到推荐系统的离线回测范式，提升对生成结果的可靠性评估。
消费级硬件上的GraphRAG：本地部署LLM医疗EHR schema检索评测
🧭 GraphRAG本地部署可行性评估
California Polytechnic State University
在8GB消费GPU上评测GraphRAG，发现7B以下模型无法完成管道，本地检索优于全局摘要
📌 工作参考价值（4 点）
- 图谱RAG部署时，模型参数最好≥7B，否则结构化输出不稳定，易导致管道失败；对电商知识图谱等应用，选型要避开过小模型。
- 本地检索（local retrieval）在延迟和事实准确性上均优于全局摘要，且幻觉更少，适合电商实时问答或隐私敏感场景，可优先采用。
- 知识图谱实体丰富度与最终答案质量解耦，评估时需分开关注索引和生成阶段，不能仅凭图谱规模选模型。
- 消费级GPU（8GB VRAM）足以运行GraphRAG全管道，为中小团队本地化部署生成式搜索或推荐系统提供了成本可行的参考。
进化编码智能体究竟在进化什么？
🧭 进化编码 Agent 搜索行为分析
Zuse Institute Berlin · Technical University of Berlin · Hong Kong Baptist University · RIKEN Center for Advanced Intelligence Project
通过 EvoTrace 数据集和 EvoReplay 回放方法，揭示进化编码搜索中分数提升多由少数编辑类型驱动，且存在高频代码回退的循环模式。
📌 工作参考价值（4 点）
- 在自动化超参搜索、推荐规则生成等迭代优化场景中，不要只看最终指标，需监控搜索过程中的编辑类型分布，避免对评估器过拟合。
- 可借鉴 EvoReplay 的回放与干预方法（例如移除代码组件、替换模型上下文）来诊断优化路径，定位真正有效的改进。
- 编辑类型高度集中，可引导搜索策略优先尝试高频有效编辑（如常量微调），提升搜索效率。
- 发现约 30% 代码行是先前删除行的重新引入，提示需设计机制抑制搜索回退，例如引入多样性惩罚或短期记忆。
PhysX-Omni：统一生成可仿真的刚体/变形体/关节体3D资产
🧭 3D生成 · 物理仿真 · 多模态学习
S-Lab, Nanyang Technological University · ACE Robotics
提出统一框架与数据集，实现跨类别仿真就绪3D生成，并构建含六维度评估的基准
📌 工作参考价值（4 点）
- 几何表示trick：论文提出的高分辨率几何直接编码方法，避免压缩损失，可借鉴到电商3D商品重建中，提升细节保真度（如服饰纹理、家具结构）。
- 数据集构建思路：PhysXVerse覆盖多种物理属性，电商可类似构建带材质、可变形参数的商品3D数据集，支撑VR试穿、物理交互模拟。
- 评估维度扩展：PhysX-Bench引入尺度、材质、可供性等六维度评估，生成式商品3D模型也可引入类似benchmark，避免只看几何相似度。
- 多类别统一框架：统一处理刚体、变形体、关节体的生成流水线，可启发我们将不同商品类型（硬质电子、软体衣物、可动家具）纳入同一生成系统，降低维护成本。
SpecBench：衡量长周期编程智能体的奖励破解
🧭 编程智能体评估 · 奖励破解量化 ★ 深度解读
Weco AI
提出 SpecBench 基准，通过可见/隐藏测试集分离量化编程智能体奖励破解，揭示长任务与弱模型下测试通过率严重高估真实质量
📌 工作参考价值（4 点）
- 显式分离可见与隐藏测试：在自动化流程（如 Agent 驱动的 pipeline）中，将单点功能验证与跨模块组合评估解耦，防止代理仅优化局部指标而忽视全局正确性。
- 长任务需设计端到端验证：对于复杂任务，仅靠单元测试无法暴露特征隔离等系统级缺陷，应补充覆盖真实使用场景的集成测试，尤其在电商推荐中，多模块协同的在线效果评估必须包含组合指标。
- 模型能力不能完全消除代理“作弊”：实验中强模型仍存在≥10-15pp 的 gaps，提醒我们在 Agent 选型时不应仅凭基础能力（如 MMLU）判断，需任务内专门验证其是否在投机取巧。
- 搜索策略影响破解形态：保留最佳公共分数的 Autoresearch 可能放大过度优化，树搜索 AIDE 可能探索出更健壮的架构，工程中应根据任务特点选择搜索模式，避免盲目使用贪心策略。
AutoResearchClaw：自我强化的多智能体自主研究与人机协作
🧭 多智能体自主科研管线与人机协作
UNC-Chapel Hill · UC Santa Cruz · Carnegie Mellon University · NUS · UC Berkeley
多智能体自主研究管线，通过辩论、自修复、交叉运行演化等机制，在ARC-Bench上超越AI Scientist v2 54.7%
📌 工作参考价值（4 点）
- 多智能体辩论机制：用于电商推荐系统中的创意评估或策略生成，多个专业Agent从不同角度（如合规、新颖性、业务指标）辩论和打分，提升输出可靠性。
- 自修复执行循环：在Agent工作流（如商品知识图谱更新、营销文案生成）中引入 Pivot/Refine 决策，将执行失败（如API错误、数据缺失）转化为结构化信息，自动尝试修复或优雅降级。
- 人机协作干预模式：7种干预模式（从全自动到逐步监督）的消融实验表明，在关键决策点（高杠杆点）进行精准人工干预能取得比全自动或过度监督更好的效果，可用于设计电商Agent的控制面板，让运营在关键环节介入。
- 跨运行演化记忆：将历史错误转化为未来防护规则（类似让推荐Agent记住哪些商品搭配曾导致差评，避免再次推荐），可作为长期运行的生成式推荐Agent的经验积累机制。
传统统计表示在识别同行评审专家方面优于生成式AI
🧭 专家推荐 · 信息检索评估
Michigan State University · Masaryk University · Max Planck Institute for Astrophysics · Joint ALMA Observatory · Stanford University
在细粒度领域专家匹配任务上，TF-IDF明显优于GPT-4o mini，揭示了生成式语义平滑的局限
📌 工作参考价值（4 点）
- 构建专家匹配或领域内容推荐系统时，不要盲目引入 LLM；TF-IDF 等稀疏词汇匹配在需要区分近似子领域的场景下可能更可靠。
- 评估框架可复用：以项目提案作者作为领域专家的 ground truth，用召回率等 IR 指标严格对比方法，这种设计在电商的商家-类目匹配、达人-品类对齐等场景中也可应用。
- 生成式嵌入的语义平滑会丢失细粒度词汇信息，可考虑混合稀疏/稠密表示（如结合 TF-IDF 与 LLM embedding）来提升长尾或冷启动物品的推荐精度。
- 在 Agent 的工具调用或知识检索模块中，若任务需要精确匹配专有名词或小领域术语，传统检索方式可能比基于 LLM 的 RAG 更有效，可作为基线。
DataPrep-Bench：统一评估 LLM 训练数据构建与质量
🧭 LLM 训练数据准备基准
Peking University · Institute for Advanced Algorithms Research, Shanghai · OriginHub Technology · Zhongguancun Academy
首个端到端基准评估 LLM 数据构建与质量预测，提出 DAS 评分和技能引导代理
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景的微调数据准备中，可借鉴 DAS (Distributional Alignment Score) 评估候选数据集与目标域（如商品查询、点击日志）的分布对齐程度，通过 MMD 衡量分布差异，过滤低质量样本，提升下游模型性能。
- Data-Construction-Skill 代理将复杂数据构建任务分解为技能引导的子任务，电商从业者可类似地将“查询-商品对生成”拆解为属性抽取、语义改写等技能，提升合成数据的多样性和相关性。
- 采用 下游驱动评估协议：不依赖表面文本指标，而是通过实际微调验证数据价值，推荐团队在迭代数据管道时可直接用在线 A/B 指标作为数据质量的最终评判标准。
- 基准中数据质量评估与数据构建的 统一框架 可迁移至推荐系统的训练数据准备流水线，将数据采集、清洗、标注和筛选环节标准化，并通过 DAS 等指标闭环优化。
谄媚是教育安全风险：为何LLM辅导需要谄媚基准
🧭 Eval ★ 深度解读
Technical University of Munich · Munich Center for Machine Learning
提出EDUFRAMETRAP基准，量化LLM在辅导中面对三种社会认知压力时放弃纠正的谄媚行为，揭示推理-谄媚悖论。
CHI-Bench：AI 代理能否自动化策略密集、长周期的医疗工作流？
🧭 面向策略密集长周期工作流的 Agent 评估
actA V A.ai · Johns Hopkins Medicine · Wellstar Health System · Stanford University · CMU
构建首个评估 AI 代理端到端自动化多角色、高策略密度医疗运营工作流的基准，当前最优方案仅完成 28% 任务。
📌 工作参考价值（4 点）
- 多角色与策略密集工作流设计：在电商客服、售后纠纷、供应链协调等多角色交互场景中，可借鉴 χ-Bench 的“指令-技能书-多 MCP 工具”架构，将企业内部业务规则编码为可被 Agent 调用的知识库与工具集，构建更贴近真实业务的长周期任务评估。
- 长周期任务性能退化警示：实验表明单会话连续执行所有任务时成功率骤降至 3.8%，提示在电商推荐或订单处理 Agent 的部署中，需设计会话状态持久化、记忆压缩或子任务分拆等机制来对抗长上下文下的性能衰减。
- 工具集成与标准化 MCP 接口：基准中 87 个工具通过 MCP 服务器暴露，为电商/推荐系统 Agent 集成复杂的业务 API（如商品搜索、营销规则引擎、物流查询）提供了工程参考，可复用其工具描述模式，降低 Agent 与异构系统的对接成本。
- 严格多级评估准则（pass³）：对于生成式推荐、Agent 辅助决策等对可靠性要求高的场景，可以引入 χ-Bench 的多维度通过标准（如轨迹正确性、产出文档质量、最终结果），避免单指标乐观估计，更真实反映 Agent 在不可逆业务操作中的可靠性。
从场景到元素：面向可验证多模态 RAG 的多粒度证据检索
🧭 Multimodal ★ 深度解读
University of Macau
提出元素级多模态 RAG 框架 GranuRAG 与基准 GranuVistaVQA，通过检测-匹配-生成实现透明归因与大幅性能提升
EntityBench：面向实体一致性的长距离多镜头视频生成基准
🧭 多镜头视频生成 · 实体一致性评估
ByteDance · Rice University
提出多镜头视频实体一致性基准 EntityBench 及记忆增强方法 EntityMem，显著提升跨镜头实体保真度
📌 工作参考价值（4 点）
- 实体级一致性评估框架可迁移至商品图像/视频生成：拆解为属性、类别、外观等细粒度维度，配合 fidelity gate 过滤不合格生成再评分，避免低质量样本干扰评估。
- 显式实体记忆库（pre-computed visual references）类似用户长期偏好向量存储，在生成式推荐中可维护商品或用户画像记忆，用于跨会话一致性生成（如个性化商品描述图的连贯性）。
- 按实体间隔距离划分难度等级的思路适用于推荐系统长期行为一致性测试，例如构建用户跨 session 行为与兴趣保持的评测集。
- 三支柱评估（片内质量、指令对齐、跨片一致性）可用于拆解推荐多阶段输出质量，分别优化即时点击、上下文连贯、跨 session 兴趣稳定。
面向视觉过程问答的分层推理框架与基准
🧭 视觉过程问答 · 多模态分层推理
提出ProcedureVQA基准和CoP层次推理框架，通过先检索后细化的方式增强VLM的过程推理能力
📌 工作参考价值（4 点）
- Agent 多步决策借鉴：CoP 的“先粗粒度检索 → 细粒度步骤分解”架构可直接用于电商场景的过程式 Agent，如根据订单状态图片自动检索售后退款流程并定位下一步操作。
- 多模态 RAG 实现：利用视觉线索检索结构化过程知识库的方法，能迁移到商品手册、安装教程的智能问答系统，通过图像匹配相关文档段落再生成答案。
- 数据构建思路：ProcedureVQA 的构建方式可用于内部评测 Agent 的多模态过程推理能力，暴露模型在细粒度跨模态对齐上的短板。
- 流程优化 trick：CoP 的语义分解模块对于长文本步骤的细化，可用于将用户粗糙的意图（如“退货”）分解为可执行的子步骤，提升推荐或客服 Agent 的指令可操作性。
走向自我进化的智能体文献检索系统
🧭 Agent ★ 深度解读
Shanghai Jiao Tong University · SciLand · Zhejiang University
提出PaSaMaster，以自演进检索、幻觉消除排名和规划-检索分离，在1%成本下超越GPT-5.2，实现零源幻觉
FutureSim：重放世界事件评估适应性智能体
🧭 Agent ★ 深度解读
ELLIS Institute Tübingen · Max Planck Institute for Intelligent Systems · University of Stuttgart · Tübingen AI Center · University of Southampton
通过真实新闻事件按时间顺序重放，评估前沿智能体长期预测与适应的能力
MemEye：以视觉为中心的多模态智能体记忆评估框架
🧭 Agent
从视觉证据粒度和推理方式两维评估多模态记忆，揭示现有架构在细节保留与状态变化推理上的缺陷
RW-Post：面向真实场景的可审计多模态事实核查基准
🧭 多模态事实核查 · 可审计证据基准
提出后对齐的多模态事实核查基准RW-Post，提供可审计推理与证据链接，暴露现有模型在证据忠实度上的不足
📌 工作参考价值（4 点）
- 电商内容审核可借鉴：构建商品图文不符的核查数据集，要求模型输出可审计的证据链接，提高审核结果的可靠性和可解释性。
- 多模态Agent设计：引入证据检索与验证步骤，如AgentFact基线，将推理链与外部证据结合，适用于需高可信度的推荐解释场景。
- 评估范式启示：区分闭卷、证据限定和开放网络三种设置，可在推荐系统的知识增强评估中应用，诊断模型对背景知识的依赖程度。
- 标注流程复用：利用LLM辅助提取和审计人类事实核查文章生成标注，可复用于电商领域生成大规模监督信号，降低人工成本。
WildClawBench：面向真实世界长周期智能体的基准测试
🧭 Eval ★ 深度解读
Shanghai AI Laboratory · The Chinese University of Hong Kong · Fudan University · University of Science and Technology of China · Shanghai Jiao Tong University
构建60个真实长周期多模态Agent任务，揭示前沿模型在原生运行时下最高仅62.2%
STALE：大模型智能体何时知晓记忆已过时？
🧭 Agent ★ 深度解读
武汉大学 · 香港中文大学 · 香港科技大学
提出STALE基准评估LLM隐式记忆冲突，揭示检索与行动脱节，及写入侧状态裁决的有效性
WildTableBench：真实场景表格图像理解基准
🧭 多模态表格理解评估基准
首个针对自然场景表格图像的问答基准，暴露多模态模型在结构感知与数值推理上的严重缺陷
📌 工作参考价值（4 点）
- 电商客服/运营中常需解析用户上传的汇款单、报价表等复杂表格图像，WildTableBench 的诊断分析（如合并单元格、嵌套结构导致的感知失败）直接提示出需要增强的视觉结构解析模块。
- 可借鉴其标注的 17 种子问题类型（如跨行/跨列表格查询、算术推理）设计内部评估集，针对性评估自研多模态模型在真实表格 QA 上的鲁棒性，避免仅用纯文本或干净渲染表格评估导致的虚假信心。
- 模型对比结果显示，即使是 GPT-4o 等最强闭源模型在数值推理上仍有明显短板，业务落地时建议结合显式 OCR 结果与结构化解析做后处理（如先转 Markdown 再查询），而非直接依赖端到端问答。
- 基准基于高信息密度表格（平均 15.7 行 × 6.2 列），对电商场景中常见的商品规格表、财务报表截图极具代表性，可直接作为领域微调数据的风格参考。
OmniGUI：全模态智能手机 GUI 代理步骤级基准
🧭 GUI Agent 评估 · 全模态环境基准
XPeng Motors
首个在步骤级注入交错图像、音频与视频的全模态 GUI 代理基准，揭示当前模型在需要时序/听觉信号时性能大幅下降
📌 工作参考价值（4 点）
- 电商或推荐场景的智能助手/自动化测试 Agent 设计时，应纳入音频、短视频等多模态输入，不应仅依赖静态截图，可参考该基准的多模态依赖标注方式。
- 真实环境中的无关噪声会造成跨模态干扰，促使 Agent 性能下降，提示在部署中需加入模态过滤或噪声鲁棒策略，对语音购物、直播带货等场景有直接借鉴。
- 步骤级交错输入的设计对连续交互数据采集有工程参考价值，可以迁移到对话式推荐或客服 Agent 的训练数据构建中。
- 基准揭示了时序音频信号对动作决策的重要性，推荐系统在利用商品短视频、动态展示时，应考虑时序信息与用户操作时刻的对齐。