多模态协同编码 Agent 评估基准 Co-Design Bench
🧭 多模态 Agent 编码评估基准
Fudan University · Alibaba Token Hub, Alibaba Group · Zhejiang University · The Chinese University of Hong Kong · Shanghai Jiao Tong University
构建参考无关的多模态协同编码基准 Co-Design Bench，评估 10 个模型端点，最强模型完全满足率仅 26.4%
📌 工作参考价值（4 点）
- 细粒度评估指标：借鉴 judge-then-refute 协议，对 Agent 输出先设置多个可检查的验收标准（如 UI 元素、交互逻辑、功能正确性），再用独立 LLM 挑战正面判断，减少评判幻觉。电商搜索推荐 Agent 可用类似方式评估生成式推荐解释、多模态商品描述改写等任务。
- 真实用户任务挖掘：从真实用户会话日志中清洗、去重、规范化请求来构建评测集，能更贴近线上分布，优于纯人工合成任务。推荐系统可复用此流程构建 Query 改写、会话式推荐的离线评估集。
- 区分部分满足与完全满足：不只报告平均分，还要统计完全满足所有标准（全对）的任务比例，以暴露 Agent 在多约束复杂任务中的短板。这适用于多步骤推荐 Agent（如跨意图理解、多轮交互、最终生成商品卡片）的评估。
- 多模态输入的融合测试：在编码任务中加入图像、音频、文档等多模态输入，能考察 Grounded Understanding 能力。电商场景中，商品图+文本描述+用户语音的多模态 Query 理解可以直接借鉴此类任务设计。
工作智能体：系统、能力与优化
🧭 Agent 工作系统与优化框架
Shanghai Jiao Tong University · The University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · The Chinese University of Hong Kong
以工作为中心给出工作智能体的系统级框架，用持久性与开放性刻画条件并划分五类数字工作，梳理能力与优化路径
📌 工作参考价值（4 点）
- 用“工作持久性/开放性”给 Agent 任务分级：电商客服、推荐解释等低持久性对话可轻量处理；跨系统选品、投放、报表等高持久性任务需要状态化工作空间、checkpoint 与回滚机制。
- 五层工作形式可做架构拆分：对话层做查询理解，原子动作层做商品/内容编辑，多步层做依赖动作，工作流层做跨团队 handoff，工作空间层做跨对象依赖追踪；据此把 LLM 调用边界和工具接口设计清楚。
- 除模型微调外先优化 harness：工具说明、状态存储、错误恢复、RAG 上下文等往往能低成本提升搜索推荐 Agent 可靠性，再逐步引入 LoRA/SFT 联合优化。
- 评估以可验证工作产出为中心：定义任务完成率、交付质量、回滚率、依赖一致性等指标，避免只比 BLEU/ROUGE；对 push 文案生成/query 推荐也要看业务转化与可执行性。
结果奖励 RL 买到了什么：完成、可靠，很少是全新可达
🧭 Outcome RL 训练效果分解与归因
Individual Researcher
将 outcome RL 的 pass@1 提升分解为完成、可靠与可达，发现主要改善完成和稳定性，很少带来新能力
📌 工作参考价值（4 点）
- 在 LLM Agent / 搜索改写 / 生成式推荐等有 token 预算或延迟上限的场景，评估应区分 finishing（限时内是否答完）与 reliability（答完后是否做对），否则容易把超时当成不会做，误判模型能力。
- 如果线上 LLM 生成 query、文案或推理链路经常因超时截断，优先增加 token 预算或压缩推理长度，比盲目上 outcome RL 更直接；本研究显示基础模型在更多 token 下能自我缩小大部分 finishing gap。
- Outcome RL 的收益主要是稳定性/一致性，而不是解决全新问题；在推荐/广告的 LLM pipeline 中，更适合用它来做排序一致性、生成候选再打分等稳定性优化，而不是期待它探索完全未见过的新 item 或新 query。
- 线上监控可同时跟踪 finishing rate、reliability 和 reach 三类指标，先定位瓶颈；例如如果 finishing 已经很高，但 reliability 低，再考虑 RL 或样本重排等策略。
三位一体：能力驱动的多模态智能体递归自改进
🧭 多模态 Agent 递归自改进
The Trinity Research Team
提出 Trinity 框架，通过 Creator/Explorer/Evolver 将任务重组为能力树，递归进化 Harness 并路由选择
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的 Agent 工作流里，可以按底层能力需求而非业务场景（搜索、推荐、广告）来组织任务与模块：定期用已验证执行轨迹重新聚类任务，把“表面 query 分类”换成“能力树”，减少场景间重复建设。
- 借鉴 Capability-Driven Real2Sim2Real：用历史日志或仿真沙箱构造简化的可验证环境，让 Agent 先做离线能力学习，再在原任务上评估迁移；适合在推荐文案生成、Query 改写等高频能力上做低成本迭代。
- 参考 Harness 树 + Capability-Aware Router 的做法：维护一组可复用的 Harness/模块配置，不改动整体拓扑，只在固定拓扑内累积验证更新；再根据公开任务元信息（如 query 类型、商品类目）路由到不同模块组合，类似多任务 MoE 的轻量路由。
- 对具身或多模态业务场景，优先抽取共享能力做仿真训练，而不是为每个异构场景单独建环境；实测在 unseen benchmark 上仍有 26 分提升，说明能力抽象具备迁移性。
SearchHorizonBench：AI Agent 搜索价值评估基准
🧭 Agent 搜索价值评估基准
Carnegie Mellon University
通过配对延续与重复执行构建搜索价值评估基准，分离搜索增益与生成噪声
📌 工作参考价值（4 点）
- 将搜索/工具调用决策显式建模为成本-收益问题，用历史执行数据校准“搜索增益”，可迁移到电商导购 Agent 的检索决策：何时检索商品库、用户画像、知识库，何时直接生成回答。
- 配对延续（paired continuations）与重复执行能分离期望增益与生成噪声，可用于离线评测或线上 AB 实验，更干净地评估 RAG、工具调用、召回策略的增量价值。
- 关键结论：只预测成功率不够，必须直接预测增益。搜索增益方差达 21.4 个百分点，而历史估计器只能解释不到 2%，说明在推荐/搜索系统中评估“召回/重排/生成”环节时，应直接建模增量收益，而非绝对成功率。
- 开源冻结 split 与评分工具可作为训练 value-aware agent 策略的基础，例如在多轮购物助手中决定是否调用价格查询、库存查询、评论总结等工具，优化用户效用与 token 成本。
Skill∞：智能体技能优化的递归自改进框架
🧭 Agent 递归自改进 · 技能优化 ★ 深度解读
National University of Singapore · City University of Hong Kong
将技能优化流程编码为可自我优化的 meta-skill，实现跨任务复用的递归自改进
📌 工作参考价值（4 点）
- 在电商/搜索推荐的 Agent 平台中，把策略优化器（如 query 改写、召回策略、排序规则的生成与迭代流程）封装成可被自身优化的 skill，让优化器随业务反馈递归进化，替代人工设计 pipeline。
- 独立 reviewer 机制值得借鉴：对候选策略用隔离上下文评审，拒绝未激活、不可用或仅靠噪声涨分的候选，可以降低离在线指标误判和 reward hacking 风险。
- 采用原生 skill discovery（仅凭 name/description 让 Agent 自主加载）而非 prompt 注入，更贴合部署环境；把 description 纳入优化范围可提高激活率，这对推荐 Agent 的 skill 路由设计很实际。
- 解耦 meta-skill 与任务 skill，先在多个优化任务上提炼通用优化器，再复用到不同类目/国家/活动场景，摊薄自改进成本，适合多业务线共用一个优化框架。
SPOT：通过提交顺序预测增强扩散语言模型的推测解码
🧭 扩散语言模型推理加速 · 推测解码
Technion – Israel Institute of Technology · Ben-Gurion University of the Negev
提出SPOT小模型预测扩散语言模型的下一个提交位置，构建候选树实现无损推测解码，吞吐最高提升3.4倍
📌 工作参考价值（4 点）
- 若业务使用扩散语言模型生成文本（如商品描述、推荐理由、query 扩展），可部署 SPOT 这类 0.62M 参数的 drafter，仅读目标模型输出分布预测更新顺序，目标模型单次 pass 验证，实现无损加速，额外计算成本极低。
- 非自回归生成场景（如并行生成多个推荐解释、多位置 mask 填充）可借鉴“顺序外置”思路：训练轻量模型预测哪些位置先提交，减少大模型前向次数，适合低延迟实时推荐。
- SPOT 的 drafter 只依赖目标模型输出分布，具备跨模型迁移能力，可以在多个不同扩散语言模型间复用，降低频繁换模型的部署成本；业务上可训练一个通用 drafter。
- SPOT-Sets 支持动态阈值解码下一次性提交多个位置，适合同时生成多个字段（标题、标签、摘要）的任务，在 SDAR-8B 上平均提升 59% 吞吐，可借鉴到多字段并行生成的工程实现。
ThinkBit：搜索码字、重校准尺度、按推理选择
🧭 LLM量化 · 标量2-bit推理保持 ★ 深度解读
Microsoft Applied Sciences Group
标量2-bit量化框架，通过敏感度分配位宽、码字搜索、仅训尺度和按推理选择，在MATH-500上大幅超过同尺寸2-bit方法
📌 工作参考价值（5 点）
- 线上长思维链模型压缩：如果要在电商/Agent场景部署推理模型，可用标量2-bit格式（整数codeword × bf16 scale，组大小128），无codebook/rotation/zero-point，dequant只需一次乘法，工程实现简单，能显著降低权重内存带宽；论文中14B模型decode从86提高到150 tokens/s。
- 按层敏感度混合精度：不必全模型统一2-bit，先用KronQ敏感度（输入范数×输出梯度范数）给每层分配ternary/2-bit/3-bit，可将搜索/推荐/Agent模型的量化损失最小化；论文表明2-bit点在成本-噪声平面上不占优，多数层会分配到ternary或3-bit。
- 低成本恢复与校准：冻结codeword，只训练scales和RMSNorm gains（<1%参数）就能把WikiText ppl从46.9降到19.46、MATH-500从14.8拉到47.5；这适合对线上新领域数据做快速低资源校准，无需全量QAT。
- 用业务长链路指标选checkpoint：困惑度和多选题无法区分量化配置（差异<1.5点），但长程任务如MATH-500差异超10点；应构造业务推理样本（如商品推荐解释、Agent工具调用轨迹最终成功率）做配对sign-flip test来选择checkpoint，避免误选。
- QAT数据要加完整推理轨迹：仅通用数据QAT会损害推理（MATH-500从47.5降到43.0），加入完整长思维链数据后同尺寸模型MATH-500从46.7跃升至73.0；业务上收集高质量Agent轨迹数据做量化后训练是划算的。
提示有多重要？金融推理事后自蒸馏的边界条件
🧭 事后自蒸馏 · 多步推理
University of California, Berkeley · CTGT
提出 Fin-SD，以学生自定位错误并生成提示、截断错误前缀进行事后自蒸馏，无需外部教师即可提升多步推理
📌 工作参考价值（4 点）
- 在电商/Agent 中需要多步推理（优惠计算、库存规则、合规审核）但只能本地部署小模型时，可借鉴 Fin-SD：让学生自己生成提示、在正确前缀上条件蒸馏，无需外部教师或完整答案，适配数据驻留与隐私约束。
- 关键 trick：提示内容不重要，监督位置才重要；可用通用/模板化反馈替代精写 critique，显著降低标注与生成成本，只需定位首个错误步骤即可施加有效监督。
- 同家族更大模型生成提示没有额外收益，说明业务中不必调用 6 倍参数模型做教师或标注，小模型自蒸馏即可省算力。
- 蒸馏后生成 token 少 9.5%，有利于降低 Agent 推理延迟和线上成本；通用推理/合规指标无退化，适合作为垂直推理增强的轻量后训练工序。
指令容量：受控负载下语言模型的行为与退化
🧭 指令跟随能力评测 · 容量度量
Independent researcher
用原子替换规则构建负载度量，测出 GPT-4o mini 在 95% 正确率下约 37-38 条规则的指令容量
📌 工作参考价值（3 点）
- 在电商 Agent 或生成式推荐 prompt 中，多约束（类目、价格、品牌、排序、输出格式）本质是规则负载，可借鉴本工作的「原子规则替换」思想，用离线评测标出模型在指定正确率下的规则容量，作为 prompt 复杂度预算上限。
- 论文给出负载因素（文本长度、词位置、替换密度、规则数、规则编号）与正确率之间平滑可拟合的规律，工程上可建立类似回归曲线，在规则数量增加时预测掉落，提前做 prompt 拆分或分段生成。
- 方法提供开源数据和 passport，可直接改造为业务 prompt 指令负载回归测试，监控不同模型版本/微调后的容量退化，辅助选择基座或 LoRA 融合策略。
主动记忆召回中的规模代价：误报随记忆库增大的幂律恶化与控制
🧭 Agent 长期记忆主动召回 ★ 深度解读
Zhejiang Sci-Tech University
证明主动召回门控的误报率随存储规模幂律上升，提出免标签 conformal 门控并验证其控制误报
📌 工作参考价值（4 点）
- 做主动 push/选品/召回时不要用固定相似度阈值：先对每个用户/上下文做 per-cue z-score 标准化，再让阈值随候选池 N 增长；embedding 分数用 √(2 ln N) 量级，词法 tf-idf 用 ln N 更快，否则 N 从几十到几千误报会从 5% 飙到 80%+。
- 无标签门控可直接落地：用用户历史 session/消息作为 reference，对当前候选打分，计算 conformal p-value（rank = (1 + #{ref ≥ current})/(K+1)），设定 α=0.05 即有有限样本 FPR 保证；适合 push 文案/商品/消息的发送决策，无需标注是否打扰。
- 两阶段 LLM judge 值得用：先用向量/词法召回 top-5 候选，再让 LLM 读候选判断是否打扰/相关；在 N=2048 时 14B judge 达到 28% hit@4% FA，优于纯相似度 gate，但延迟和成本更高，且要确保召回覆盖（top5 含 evidence 仅 36%-65%）。
- 容量受表示分离度限制，投入 embedding 质量/多模态上下文比堆更多记忆更划算：binormal 模型下容量随分离度平方指数增长；当候选池极大且 score 分布重叠大时，可控误报下的命中率会掉到个位数。
AdShot：面向视频广告剪辑的多模态大模型评测基准
🧭 多模态大模型评测 · 广告剪辑
Northeastern University · Southern Methodist University
推出 AdShot 基准：823 对广告镜头选择评测，发现架构优先于规模且模型有内容偏好
📌 工作参考价值（4 点）
- 在电商商品视频多时长自动剪辑中，把镜头选择建模为受时长预算约束的子集选择，而非让 MLLM 直接输出完整 15s 连续片；AdShot 显示模型原始输出平均时长误差 5.39s，工程上必须加显式约束（DP/贪心 + 镜头时长表）。
- 选型时不要迷信 72B 大模型；该基准中架构比规模更关键，小模型常追平或超过大模型。业务落地可优先评测 7B–13B 视频 MLLM，成本更低且可私有化部署。
- 评估/微调需要显式覆盖 action、emotion、information、imagery 四类内容；模型系统性偏好 information/emotion 镜头，会漏掉 action 和 imagery，电商广告中动作展示、产品外观镜头可能需要通过 prompt、奖励或后处理加权校正。
- 若构建类似自动剪辑系统，建议加入音频声道：音频消融提示纯视频模型缺乏口播/音乐信息，商品口播、卖点音频对剪辑相关性高，评测时应纳入音频模态。
持续学习基准：评估 LLM 智能体的长周期经验学习能力
🧭 LLM Agent 持续学习能力评估
University College London
构建 600 级递进任务基准，量化诊断反馈与修订对 LLM 智能体经验学习的作用
📌 工作参考价值（4 点）
- 在电商智能体（如客服、选品、广告优化）的设计中，可以采用「多级递进任务」框架：让 Agent 先完成简单任务，成功后再解锁更复杂任务，从而在任务流中自然积累经验，而不是一次性给出完整任务。
- 引入「失败后诊断反馈 + 一次修订」的机制，能带来中位数 5.3 个百分点的完成率提升；实际系统中可设置轻量级反馈循环，让 Agent 在失败时获得针对性的错误分析并重新生成一次，成本可控。
- 评估智能体时，不要只看单个 task 的准确率，而应关注跨时间、跨任务的改进幅度和知识保留；这更贴近推荐/广告系统中连续决策、用户反馈驱动的真实场景。
- 该基准数据可用于后训练 LLM 以增强持续学习能力，从业者可以考虑将业务日志中的成功/失败案例转化为类似的阶梯式训练样本。
Δτ-Bench：在持续演化的工具生态中评测 Agent 适应能力
🧭 Agent 工具生态演化评测与技能管理 ★ 深度解读
Zhejiang University · University College London
构建可执行演化工具生态基准，并提出 STEWARD 联合维护工具与技能以跟上能力前沿
📌 工作参考价值（4 点）
- 把内部工具/API 生态当作“会演化的能力前沿”：记录 skill-tool 依赖，工具下线只标记 inactive、不删除；接口恢复时可快速 reactivate，适合推荐 Agent 频繁调用商品、促销、广告接口的场景。
- 增量技能维护优于全量重建或冻结：从成功轨迹只做局部编辑，维护 token 省 30-40%，且 SR 更高；业务里不要每次接口变更都全量重蒸馏 SOP。
- 执行时动态 provision tools+skills，而不是一开始灌全量工具列表：先按初步计划给一个小工具集，出现能力缺口再检索和检查 schema，能提高 tool precision/F1，降低长上下文分心。
- 监控 Agent 不能只看任务成功，要看相对当前版本最优路径的路径效率 SPE/IDR/DAR：只看成功会掩盖“旧流程仍能跑通但错过更优路径”的退化。
DynaFlow：学习自由形式多智能体工作流编排
🧭 自由形式多智能体工作流学习
National University of Singapore
将自由形式工作流合成融入主智能体动作空间，动态编排子智能体，仅训练主智能体，多任务准确率提升 10.9 个百分点
📌 工作参考价值（4 点）
- 在电商推荐/搜索 Agent 系统中，避免固定多智能体管线：可借鉴 DynaFlow 设计一个 orchestrator LLM，根据 query 或任务动态生成工作流（先并行召回/排序/生成，再验证与融合），而不是为每个场景硬编码子 agent 调用顺序，减少维护成本并适应长尾需求。
- 只训练 orchestrator、冻结执行子智能体：业务中已有大量稳定的子服务（搜索、推荐、广告文案、风控等），可构造专家轨迹对主控模型做 SFT，并用过滤出的“信息流缺陷/有偏验证”样本做拒绝采样或再训练，实现低成本升级且不破坏下游服务。
- 强调跨阶段信息流：在推荐系统多阶段推理中，显式对上游结果进行 use/verify/refine，而不是让每个 agent 一次成稿；例如让验证 agent 检查推荐理由是否支持用户意图，再回退修正，可提升输出可靠性和可解释性。
- 工程上可复用三类工作流原语：顺序执行、并行执行、结构化信息交换与验证，作为工作流 DSL 或工具调用规范，让 orchestrator 生成 JSON/Python 工作流，执行器统一解析，便于与现有 RAG / 工具调用框架集成。