视频生成背后：Kling 多模态理解的观察与洞察
🧭 多模态理解 · 视频生成可控性
从数据-条件-对齐-评估链剖析多模态理解如何提升可控视频生成质量
📌 工作参考价值（4 点）
- Captioning 作为语义契约：在电商多模态内容（商品图/短视频）理解中，可借鉴「描述密度最大化」思路，把 caption 从简单标签升级为细粒度语义描述，提升后续生成/匹配的上限。
- Prompt enhancement 的 RL 在环设计：将用户 query 翻译到高质量描述分布，用文本级 RL 和生成器在环 RL 迭代优化，可直接迁移到推荐系统的 query 改写、广告文案生成，避免只靠 LLM 静态改写。
- 候选从文本单独筛选：训练多模态生成模型前先用文本特征筛选候选，节省端到端训练成本；在商品短视频生成或创意素材筛选中，可先用文本描述打分快速过滤低质候选。
- 奖励模型解耦通用与决策：通用 reward model 做可解释局部批评，决策 reward model 做快速多维评分，可作为电商内容审核、素材优选的双层打分架构参考。
InterA11y：基于 LLM 智能体的交互式网页可访问性错误检测
🧭 LLM Agent 结合 rubrics 与工具审计
University of Washington · Cornell University · Carnegie Mellon University
结合可测试规则分解与确定性交互工具，显著提升 LLM Agent 网页可访问性审计召回并保持高精度
📌 工作参考价值（4 点）
- 将复杂质量标准/规则分解为可测试的 rubrics，并由 agent 逐步收集证据，可用于商品信息合规审核、广告审核、推荐理由生成等场景，降低 agent 主观误判。
- 用确定性工具（如 DOM 检查、焦点/错误消息提取）替代或补充 LLM 直接推理，能减少 token 消耗和幻觉，提高 precision，在需要高准确率的业务（如广告审核、商品合规）可借鉴。
- 系统架构上采用 LLM 负责规划与证据解释、工具负责确定性检查，可隔离不同模型间的表现差异，推荐系统 agent 协同中也可采用同类混合架构。
- 评估方法上，用专家标注案例集对比召回/精度并关注跨模型一致性，对业务上线 agent 的评测与可信度验证有参考价值。
AutoRSE：评估 LLM 推荐工程师 Agent 的自主进化能力
🧭 LLM Agent 自主改进推荐算法评估 ★ 深度解读
University of Science and Technology of China · National University of Singapore
构建 AutoRSE 框架，量化 LLM RSE-Agent 自主改进推荐算法的能力与瓶颈
📌 工作参考价值（4 点）
- 实际可先用 LLM agent 做工程级优化：hyperparameter tuning、模型集成、训练策略调整。在生成式推荐（HSTU/TIGER）等尚未饱和场景，单靠这些就能拿平均 16.1% 的相对提升；而在 CTR 任务 AUC 接近饱和时，agent 收益有限。
- 若想让 agent 产出算法创新，不要只靠它自我 brainstorm。建立外部 idea library（顶会论文、竞赛方案、专家经验提炼成短条目）注入给 agent，比 self-generated ideas 平均高 13.35%，novelty 也明显更高。
- 评估 agent 不能只看最终分数，要做 trajectory-level 分析：把实验按策略分类（参数调优/集成/训练策略/特征/架构/损失），能暴露 agent 真实能力边界；工程优化占比越高，说明创新瓶颈越重。
- 可复用其 12 小时单卡预算 + 隐藏测试集 + 强制持续运行协议，在内部做 agent 优化竞赛或离线评测，避免 agent 提前停下或只做少量修改。
策略其实受 Harness 秘密约束：Agent 接口的决策几何
🧭 Agent 接口设计与策略学习
The Hong Kong University of Science and Technology (Guangzhou) · The Hong Kong University of Science and Technology
训练策略会带上训练 harness 的偏好，部署收益可分解为接口天花板减策略偏差，固定模型评估接口会混淆两者
📌 工作参考价值（4 点）
- 在评估 prompt / 工具 / 工作流改动时，别只拿固定模型 A/B 测试，应把表现拆成 ceiling（接口天花板）和 mismatch（当前策略偏差）。可以用一个更强的模型（如 GPT-4 或更大开源模型）近似最优策略来估计 ceiling，再用当前模型算 mismatch，从而预测改动后重新训练/微调能带来的真实收益。
- 如果接口只是格式变化（比如 prompt 字段顺序、工具描述顺序）而最优动作理论上不变，已微调的策略可能大幅失效（MiniWoB++ 里反转字段顺序让成功率从 85.0% 跌到 19.2%）。这提醒我们：对 LLM 做领域微调时，训练 harness 的格式偏好会被固化，上线接口改动前要重新校准，或者在训练数据里加入字段排序、模板扰动等增强来提高鲁棒性。
- 自动 prompt 优化工具（如 DSPy、TextGrad）常用固定模型给候选 prompt 打分，可能只选出当前模型更擅长的表达方式，而不是真正提高任务上限的接口。建议在候选 harness 搜索中引入更强模型作为 oracle 评估 ceiling，避免陷入对当前模型的过拟合。
- 在设计推荐/搜索 Agent 的工具调用接口、提示词模板时，接口本身的易用性和信息完整性（高 ceiling）可能比当前模型一次性表现更重要，尤其是计划后续用业务数据继续训练模型时。
MAREval：推荐解释自然语言评估的多智能体框架
🧭 多智能体 LLM-as-a-judge 评估推荐解释 ★ 深度解读
Walmart Global Tech
规划者-主持者-仲裁者多智能体+Monte Carlo 采样提升推荐解释评估的人工对齐和稳定性
📌 工作参考价值（4 点）
- 将单智能体 LLM-as-a-judge 改造为 planner→evaluator→moderator→arbitrator 流水线，planner 先生成各角色同步步骤，能显著减少 prompt drift 和辩论噪声，适合电商推荐解释的质量审核。
- moderator 用动态摘要代替全量上下文，过滤冗余、保留关键分歧，可在长文本或多轮评估中降低 token 成本和上下文污染，类似 trick 可复用到商品文案或 push 文案自动评估。
- 对黑盒 LLM 用 pipeline-level Monte Carlo 采样（N=5 次取平均）降低输出方差；实验显示 4 个 evaluator、5 次采样是成本/性能折中点，边际收益递减。
- 上线前将自动评估作为硬约束门禁，辅以少量人工抽检，可实现硬标准 100% 通过；骨干模型选择显著影响评估质量，Gemini 2.5 Pro / Claude 3.5 Sonnet 明显优于 GPT-3.5，实际选型需先在自有数据上验证与人工标注的相关性。
工作智能体：系统、能力与优化
🧭 Agent 工作系统与优化框架
Shanghai Jiao Tong University · The University of Hong Kong · The Hong Kong University of Science and Technology (Guangzhou) · Tsinghua University · The Chinese University of Hong Kong
以工作为中心给出工作智能体的系统级框架，用持久性与开放性刻画条件并划分五类数字工作，梳理能力与优化路径
📌 工作参考价值（4 点）
- 用“工作持久性/开放性”给 Agent 任务分级：电商客服、推荐解释等低持久性对话可轻量处理；跨系统选品、投放、报表等高持久性任务需要状态化工作空间、checkpoint 与回滚机制。
- 五层工作形式可做架构拆分：对话层做查询理解，原子动作层做商品/内容编辑，多步层做依赖动作，工作流层做跨团队 handoff，工作空间层做跨对象依赖追踪；据此把 LLM 调用边界和工具接口设计清楚。
- 除模型微调外先优化 harness：工具说明、状态存储、错误恢复、RAG 上下文等往往能低成本提升搜索推荐 Agent 可靠性，再逐步引入 LoRA/SFT 联合优化。
- 评估以可验证工作产出为中心：定义任务完成率、交付质量、回滚率、依赖一致性等指标，避免只比 BLEU/ROUGE；对 push 文案生成/query 推荐也要看业务转化与可执行性。
记忆税：剖析 Agent 记忆相对直接检索的净价值
🧭 Agent 记忆净价值与记忆税拆解 ★ 深度解读
University of Illinois Urbana Champaign · Tsinghua University · Renmin University of China · Verdent.ai · University of Waterloo
大规模评测发现多数 Agent 记忆系统不如 naive RAG，提出记忆收益与记忆税拆解净价值
📌 工作参考价值（4 点）
- 在电商/推荐 Agent 的用户长期记忆、会话记忆或经验记忆项目中，先把 naive RAG 作为强制 baseline；很多专用记忆在 retrieval-friendly 任务上会被简单 BM25+embedding+rerank 打败，若无法显著超过 RAG，就不值得上复杂记忆架构。
- 保留一条从记忆回到原始日志/会话的“可恢复路径”：构建 memory 时同时从原始历史检索并联合 rerank，能补回构建阶段丢失或模糊的证据；实验中 SimpleMem 加 src-aug 后 LongMemEval-s 准确率从 73.6 提升到 82.8，memory tax 从 12.0 降到 5.2。
- 把“未来查询需求”当作隐式推荐问题：不要 AOT 全量预构建，利用用户历史兴趣/访问模式/偏好作为先验，选择性地对可能被未来 query 需要的信息做抽象与索引；这类似推荐系统中预估 item/信息未来相关性。
- 记忆系统要报告检索成本与原始 RAG 的 headroom；在电商/Agent 检索友好场景下，复杂记忆的增量收益有限，轻量或 JiT memory 可能是更高性价比的选择。
兼顾任务遵循与行为自然度的用户模拟器
🧭 用户模拟器 · RL+对抗判别器 ★ 深度解读
Cornell University · Microsoft Research
用 RL 联合动态对抗判别器训练用户模拟器，有效对话率 46.2%，为最强现有模型的 3.3 倍
📌 工作参考价值（4 点）
- 在需要模拟用户生成多轮对话的场景（如评估导购 Agent、电商客服助手），不要只用 prompt 大模型或纯 SFT；可借鉴 SFT+RL+动态判别器配方：先 SFT 对齐真实用户语料，再用联合奖励优化任务完成度和自然度。
- 自然度评估要避免 LLM-as-a-judge，用轻量判别器（如 ModernBERT）做对抗训练，每 N 步重训，防止 reward hacking；业务中可训练真实用户 vs 模拟对话的判别器，作为线上模拟器的质量监控信号。
- 设计 coverage 奖励时引入信息不对称：给生成模型的意图抽象、给 reward 的子目标具体，可防止模型逐字复述意图刷分，鼓励多样化合理行为；类似可应用于推荐解释生成或 Agent 指令跟随训练。
- 终止/质量奖励可作为必要的门槛：先检查角色切换、重复输出、提前终止等硬失败，再做细粒度打分；这能低成本过滤掉不可用样本，提升自动化评估信噪比。
RSIHub：可组合的 Agent 进化方法框架
🧭 Agent 进化框架与实验治理 ★ 深度解读
University of California, Berkeley · University of Science and Technology of China · Douyin Group · Shanghai Jiao Tong University · Beijing Institute for General Artificial Intelligence
开源框架将 Agent 进化策略与执行评估解耦，支持公平对比、溯源与受保护评测
📌 工作参考价值（4 点）
- 在电商/广告 Agent 迭代中，把「策略改动面」和「评估面」分开：对 prompt、工具、编排做自动进化时，将评测器、数据切分、认证记录放在框架侧，禁止 mutate 触碰评估配置；这能避免上线 Agent 优化时因评测漂移导致错误归因。
- 借鉴 train/gate/sealed 三分法：用 train 产生反馈、gate 做准入、sealed 做 held-out 报告。搜索推荐场景中，可对应历史反馈窗口、回放准入窗口、未来线上 sealed 时段；防止对历史日志过拟合，暴露 query 改写/文案生成的泛化问题。
- 建立轻量 provenance/lineage：每个候选版本绑定 commit、recipe snapshot、模型版本、数据集指纹、split 与得分，便于回溯和审计；框架独占开销 <0.02% 生成时间，可集成进现有 MLOps。
- 复用 recipe+operator 组合模式：把进化策略写为算子，用配置声明 mutable surface，能让 A/B 对比不同 prompt/策略搜索算法时少写端到端实验代码，团队可快速替换单个策略组件。
语言智能体记忆的价值
🧭 Agent 记忆价值决策论 ★ 深度解读
MemTensor · Shanghai Jiaotong University · The Hong Kong University of Science and Technology (Guangzhou)
提出决策论框架，量化记忆在保留、使用、恢复与修订中的价值，并用反例和诊断揭示信息时序、检索接口、读策略与需求不确定性的作用
📌 工作参考价值（5 点）
- 把存储内容和 reader 使用分开评估：线上 Agent 记忆系统故障时，不要只看检索命中。可以固定 reader，对比不同持久化状态（例如完整日志 vs 摘要 vs 索引）的 realized value；再用固定证据、换 reader 评估使用缺陷。这能避免把“没存”和“没用”混为一谈。
- 存 locator 而非完整内容：论文的 pointer 例子显示，一个与答案互信息为 0 的地址指针，能把付费恢复成本从期望 2.5 次读取降到 1 次。在电商/推荐 Agent 中，记忆可以存用户会话的检索键、商品 ID 索引或版本号，而不是完整上下文；需要时通过 BM25 或 database read 获取，兼顾容量与延迟。
- 写记忆时考虑未来 query 是否已知：query-agnostic 写入需要更多容量保留区分度。构建用户级 memory 或 session 摘要时，如果未来任务是开放式的，不要过早做不可逆压缩；保留可恢复路径（比如原始日志指针），按需求概率和恢复成本做分配。
- 把测量过程 J 和系统 Σ 分离：论文中同一输出在 strict operation rule 下 17/28 接受，consequence-based check 下 22/28 接受，差异 17.9 个百分点。做线上 A/B 或 offline eval 时，应固定评分规则、损失定义和 label 标准，否则会把 scorer 变化误判为记忆系统改进。
- 修订时记录依赖关系，按依赖闭包更新：不要按项目/文档边界更新记忆。记录 source、object、version、reason，商品属性或用户偏好变化时，只更新受影响的结论、计划和缓存，减少误改和遗漏。
Agentic 检索静默失败：LARA 框架与 Adobe Express 生产证据
🧭 Agentic Retrieval 评估归因 ★ 深度解读
Adobe
提出 LARA 三层评估与四字段血缘 schema，解决 agentic 助手检索归因缺失，并用 Adobe Express 生产数据验证
📌 工作参考价值（4 点）
- 不要用 assistant-wide CTR/reformulation 作为检索指标；只在 retrieval 触发的 turn 上计算，并把 reformulation 拆成 Search Reformulation 与 Downstream Correction，避免把生成润色误判为检索失败。
- 至少先加 returned_asset_ids（检索触发时的完整排序列表），这是解锁 Layer 1 离线评估的最高价值单一字段；再加 retrieval_id / consumed_asset_id / source_retrieval_id 做跨 turn、跨 session 归因，纯日志改动无需新模型。
- 对电商/Agent RAG 场景，显式打 retrieval role tag（direct retrieval、retrieve-then-act、reference input 等），并分开统计 GPR、ACR、ORF、UOR，不要把 UOR 当成成功或放弃。
- 关注 Layer 0 planner routing：如果检索触发率极低，先估算 missed-retrieval rate，用 ground-truth intent 对照 planner 决策；否则再好的 Layer 1 也只覆盖极少流量。
多模态具身智能体：从计算机使用到机器人使用的统一能力中心视角
🧭 多模态具身 Agent 能力框架与评测
Show Lab, National University of Singapore
提出 PAPAV 五功能框架，统一比较计算机使用与机器人智能体，揭示 Anticipate 与 Verify 评测缺失
📌 工作参考价值（4 点）
- 将推荐/搜索 Agent 按 Perceive、Anticipate、Plan、Act、Verify 拆解能力项，分别建立评估指标，而不是只看最终转化或任务成功，便于定位失败环节。
- 在生成式推荐或 query 改写中，显式引入“动作影响预判”和“结果校验”模块：生成候选前先做效果预估与风险检查，生成后主动验证用户反馈，弥补现有链路只优化 Act 的不足。
- 对自动操作类 Agent（如电商后台自动化、广告账户操作），可借鉴其按功能而非架构的评测思路，设计分能力测试集，尤其覆盖不可逆动作前的 Anticipate 与执行后的 Verify。
- 整体为框架综述，无具体算法可迁移；核心价值在评估维度与系统解耦思路，可作为 Agent 评测设计参考。
双考：多模态智能体与世界模型的受控评估
🧭 多模态 Agent 与世界模型评估
香港科技大学 · 新加坡国立大学 · 香港理工大学 · 东京大学 · 卡内基梅隆大学
提出 Dual Exam 框架，分别评估多模态 Agent 与世界模型，发现两者任务表现不均且耦合成功率低
📌 工作参考价值（4 点）
- 将 Agent 的动作选择与状态演化分开评估：在电商对话推荐、广告策略自动出价等场景中，先用固定环境响应测 Agent 决策，再固定动作序列测 World Model 预测，可解耦定位问题。
- 构建任务相关状态保持的专项 check：论文揭示 Agent 常丢失任务相关状态，实际推荐/搜索多轮对话中可加入状态保持测试用例，防止遗忘用户偏好、已选商品等关键上下文。
- 对于用 World Model 模拟用户反馈/市场响应的团队，需独立验证其 action-conditioned 预测准确率，不能仅靠端到端耦合成功率；150 例耦合实验零成功说明耦合评估会掩盖组件缺陷。
- 评测集设计采用“固定环境响应/固定动作干预”对照，可迁移到线上 Agent 评测系统，区分策略错误和模型预测错误，降低归因成本。
AutoSim：面向对话搜索评估的自改进用户模拟器
🧭 用户模拟器自改进 · 评估真实性 ★ 深度解读
University of Passau · Interdisciplinary Transformation University Austria
Prompt 级自改进无法消除对话搜索模拟器与真实用户行为差距，权重级对抗微调把判别 AUC 降到 0.45 并修正评估偏差。
📌 工作参考价值（4 点）
- 如果要在搜索/推荐/Agent 离线评估里用 LLM 用户模拟器，别指望 prompt 或少样本把「模拟用户」变真实；准备少量真实用户对话或行为日志，用 LoRA/权重级对抗 SFT 训练生成器。论文的四轮 rejection sampling 流程可直接复用：冻结判别器，采样候选 utterance，保留最像人的样本再 SFT，然后刷新判别器。
- 上线前给模拟器加两道检查：一是真实 vs 模拟判别器 AUC 或人工判别，不只看平均 query 长度、礼貌比例；二是在真实用户无结果/低召回的高难度 query 上比较模拟 query 的 nDCG 或召回，防止模拟器掩盖检索失败。
- 把「评估判断」和「用户生成」解耦：排序有效性来自强 LLM judge，不必让 judge 自改进；judge 与 generator 用不同模型家族，避免 self-preference/verbosity bias。业务上可复用为：LLM relevance judge 保持与人工标注或 A/B 结果对齐，生成器单独做真实性校准。
- 对生成式推荐/QueryRec 或多轮 Agent 用户建模：不要只学最终答案或短 query 表层长度，要匹配真实 query 与完整需求之间的语义对齐；短 query 不一定需求聚焦，需额外测 query-need alignment。
检索增强生成（RAG）的组合性评估
🧭 RAG 流水线组合评估
IBM · Weizmann Institute of Science
系统评估RAG各阶段技术组合，发现孤立增益不可叠加且最优组合随语料规模变化
📌 工作参考价值（4 点）
- 在电商/Agent的RAG知识库或购物问答中，不要只按单模块离线指标选型：三种检索技术孤立预测+47%联合提升，组合后仅+17%，单点提分可能被其他阶段抵消。
- 同时跟踪检索质量（如NDCG@10）和最终忠实度/业务指标；组件对两者增益方向可能相反，避免为召回率牺牲生成质量。
- 语料规模从小规模实验到全量商品库/百万级文档时，必须重新验证最优组合；小语料最优配置不一定在大语料保持，应做分规模子集测试。
- 借鉴LASAGNA思路搭建内部RAG实验框架，固定其他阶段做单变量替换，支持不同语料规模与多指标报告，沉淀可复现的pipeline配置。
HABIT-Bench：评估智能体从长期弱证据中归纳用户习惯
🧭 Agent 记忆评估 · 隐式习惯归纳 ★ 深度解读
LUMIA Lab, School of Artificial Intelligence, Shanghai Jiao Tong University · Shanghai Artificial Intelligence Laboratory · Fudan University
四域基准显示现有 Agent 记忆方法准确率仅约 33%，复杂记忆流程不优于简单检索或历史压缩
📌 工作参考价值（4 点）
- 不要默认复杂记忆 pipeline 更优：在需要跨会话状态重构的长用户轨迹上，BM25/Dense RAG 等简单检索基线与 A-MEM、Mem0、MemOS、Letta 等记忆方法准确率接近，GLM 下 Full Memory 压缩历史甚至达到 41.98%，超过全部记忆方法。业务落地前应先验证 RAG/压缩历史强基线，避免过度设计。
- 区分“证据访问”和“决策正确性”：Oracle Evidence 提供标注证据后准确率仍只有 39.26%–58.25%，而 Oracle Habit State 可达 98%+。意味着即使召回相关行为，模型仍常错误应用习惯。电商/广告中需显式建模行为有效期、例外、边界和用户确认，不能把任意历史点击/对话当长期偏好。
- 记忆构建成本与查询成本高度不对称：A-MEM 构建 54.59 小时、107.80M tokens，查询仅 13.24 分钟、3.39M tokens。工程上要把历史预处理与在线推理分离，按记忆复用频率和更新需求评估 ROI，必要时用增量更新或压缩历史替代全量记忆抽取。
- 可迁移的负样本设计思想：将临时期外、已过期选择、未接受的建议、边界情况作为干扰项，能有效测出模型是否“过度个性化”。推荐系统评估可借鉴四选一 probe，测试模型在 scope、exception、temporal drift 下是否仍正确推荐。
EvalResearchBench：让 AI Agent 自主设计评测反馈，支持递归自我改进
🧭 AI Agent 自动化评测设计 ★ 深度解读
Oregon State University · University of California, San Diego · Pennsylvania State University · AG2 AI
首个系统评估 AI agent 在固定预算下自主设计、迭代并冻结评测器的基准
📌 工作参考价值（4 点）
- 在电商/广告/搜索推荐场景中，如果已有一套昂贵的线上 A/B 或离线评估集（如用户满意度、转化率、长期留存），可以借鉴 ERB 的思路，让一个 LLM agent 用固定预算从已有标注/日志中挑选或合成一个小而精的「代理评测集」，通过 pilot 迭代修正 grader 和权重，再用 sealed 候选模型验证其排序能力。
- 评测器的构建成本与执行成本要分开账本管理：研究/开发预算和最终评估预算独立，防止 agent 在思考阶段消耗光测试资源。在业务中可对应「离线实验预算」和「在线评估配额」的隔离。
- 关注 aggregation 的权重设计：Grok 的案例显示，按 development 候选排序拟合出的权重可能严重依赖少数几个高分题目，导致有效信号被稀释；用 equal weight 重新计算后 Score 明显提升。业务中设计离线离线指标加权时，应避免过度拟合历史模型的排序，定期用新模型反查权重是否稳定。
- 题目数量对评估一致性和稳定性有直接影响：从 10 题到 90 题，Score 均值上升且方差下降。若业务要做轻量级模型评估，建议保证每 domain 至少 30-60 个有区分度的样本，否则容易高估/低估某个模型。
PersonaCUABench：多样化用户人设下的计算机使用智能体评测基准
🧭 Agent 评测 · 用户多样性
The University of Texas at Dallas · University of Southern California · Carnegie Mellon University · Georgia Institute of Technology · University of California, Los Angeles
固定任务、仅变化用户人设，发现 CUA 任务完成率平均下降 36%
📌 工作参考价值（4 点）
- 对话式推荐/购物 Agent 评测可借鉴「固定任务、仅变化用户 persona」的设计，分离任务难度与用户表达差异，避免只测固定指令。
- 用户 simulation 中让 persona agent 用自己的话改写请求、回答追问，能暴露模型对含混需求、额外约束、批准流程的理解能力。
- 评估指标需同时看任务完成与用户满意度/约束遵循：论文中任务完成但用户最高满意度仅 62.7%，提醒业务中不能只优化结果正确。
- 错误分析维度「理解错需求导致失败」vs「用户要求停止但被判定失败」可帮助定位是语义理解问题还是策略/安全机制问题。
RealCLI：CLI Agent 人机协作统一评估基准
🧭 CLI Agent 人机协作评估基准
Beihang University · Renmin University · IQuest Research
提出 REALCLI 双模式基准，统一评估 CLI Agent 任务执行与协作质量，揭示前沿模型协作能力严重不足
📌 工作参考价值（4 点）
- 电商/运营 Agent 常执行长链路任务（如批量改价、选品、报表生成），可借鉴 REALCLI 的“执行模式 + 协作模式”双评估：既测任务完成，又用 scripted user 模拟渐进需求与授权，防止只优化结果而忽略用户体验。
- 五维框架中的 steerability、trust calibration、safety boundary 可直接迁移为客服/自动报价 Agent 的评测 rubric，例如检查 Agent 是否在修改价格、发优惠券前请求确认、是否过度自信。
- 对于需要人机协同的推荐/搜索 Agent（如自动生成 query 或调整策略），可参考“约束修订”场景模板，设计测试用例评估模型在用户中途改变目标时能否平滑重规划。
- 工程上，scripted user 成本低，适合作为 CI 回归测试，避免每次都要真实人工参与，可先小规模试点。
SimInter：基于访谈画像增强的循证对话推荐用户模拟
🧭 用户模拟 · 对话推荐评估 ★ 深度解读
University of Tehran · Institute for Research in Fundamental Sciences (IPM)
用LLM访谈+轮级审计从历史对话中提取隐式用户画像，显著提升模拟用户的aspect表达丰富度
📌 工作参考价值（4 点）
- 在电商/对话推荐离线评估中，可用「历史行为统计 + LLM 访谈」抽取用户隐式偏好（pickiness、decision-making style、novelty preference），每个属性要求 evidence quote，避免 LLM 直接从静态画像推断时的刻板印象。
- Turn-level 审计是工程可落地的做法：定义 fabrication / caricature / history contradiction 三类 flag，并设 severity，不整段丢弃对话而是剔除有问题的 turn。对 RAG 对话、生成式推荐的事实性校验可参考这种细粒度过滤。
- 注意 trade-off：丰富画像提高了 aspect 多样性和语义多样性，但会降低 item 多样性和词汇重复。业务评估中不要追求所有多样性指标同时提升，应明确评估维度。
- 用不同 LLM 做生成/审计/评测（如 Gemini 生成访谈、Claude 审计、GPT-4o-mini 做 CRS）可减少同模型共享偏差。
DuoDiscover：联合发现优化目标与廉价评估器
🧭 多 Agent 协同与多保真评估 ★ 深度解读
Google · UC Berkeley · Stanford University
Agent联合发现优化目标与廉价代理评估器，突破昂贵评估瓶颈
📌 工作参考价值（4 点）
- 当线上 A/B、全量 benchmark 或 serving trace 评估很贵时，可以让每个 agent 为选定模块自动设计轻量 proxy（如关键子集、小规模负载、成本模型），在 proxy 上秒级迭代；真实评估只用于确认候选，并用 Kendall τ 定期校验 proxy 排序保真度，漂移即失效。这种「昂贵评估只做确认、廉价评估负责搜索」的模式可直接用于推荐系统的离线评测、A/B 前筛选和 LLM serving 性能调优。
- 多 agent 编排采用 bottom-up：没有中心化任务分解，轻量 orchestrator 只管理昂贵的真实评估分配、终止停滞 agent、spawn（fresh/transfer/combine）和 brief。这个模式适合把多 agent 优化引入广告出价、精排模型搜索等评估成本高的业务，不必重写搜索逻辑。
- 用 Amdahl 定律做目标剪枝：agent 估计目标代码模块对总指标贡献占比 w，用 1/(1-w) 判断最大潜在收益，优先优化高上限目标。对应到推荐/广告系统，可以先估算某个环节（召回、粗排、特征计算、在线打分）对最终指标贡献上限，再决定是否投入 agent 搜索。
- 论文本身不解决推荐/检索建模问题，但可作为「LLM 驱动的系统优化 + 多保真评估」参考架构，尤其适合有昂贵端到端评估（全量 trace、仿真、大模型评测）的业务团队。
从被动遏制到主动保障：2026年三家Agent安全事件的教训
🧭 Agent 安全评估与主动保障
Walsh College, Troy, Michigan, USA
基于2026年三家前沿Agent安全事件，提出PASAC主动保障循环与五层边界保障栈，强调执行系统全链路持续校验而非依赖单一沙箱
📌 工作参考价值（4 点）
- 在电商导购、广告投放或推荐Agent上线前，把安全边界从“模型不越界”改成“执行系统不越界”：独立验证工具权限、网络出口和凭据注入，不能只依赖模型自述或单层沙箱。可直接落地五层边界栈中的可执行范围契约和egress强制。
- 评估环境采用least-capability access：按任务风险分层授予商品库、广告账户、竞价API的只读/读写/资金操作权限；涉及下单、改价、扣预算等高风险动作，必须设置自动停止条件和基于证据的人工重授权，防止奖励漏洞跨任务扩散。
- 跨运行监控对长会话Agent尤其重要：推荐/导购Agent可能跨用户、跨店铺复用记忆与凭据，需要隔离跨运行身份、监控异常网络出口和工具调用模式，尤其是访问Hugging Face类共享服务或第三方数据源时。
- 把Agent安全评估从一次性red team转为持续assurance：对生成式推荐、query改写等业务Agent也可以建立领先指标，如越界尝试率、新工具调用频率、凭据访问模式，触发策略自动收紧。
所有判决并非平等：重新思考 LLM 裁判可靠性
🧭 LLM-as-a-Judge 可靠性审计
PayPal
对 LLM-as-a-Judge 进行系统可靠性压力测试，提出可信判决率 T，并发现 rubric 打分比成对胜负更可信
📌 工作参考价值（4 点）
- 在电商/搜索评估链路中不要用单次 LLM 成对判定作为 ground truth：至少交换待比较项顺序、重复采样多次、记录一致性；可引入类似可信判决率 T 的联合概率作为上线门槛。
- 位置偏差对 pairwise 评估影响严重，尤其是困难样本；推荐策略 A/B 对比、query 改写/生成质量评估应优先使用整体 rubric 打分（分维度评分），而不是直接问法官谁赢。
- temperature=0 不等于确定性；若业务依赖 LLM 自动打分生成训练信号（如 RL reward），必须显式固定 seed、多轮采样并丢弃不一致样本，防止错误信号被误认为稳定标签。
- 可靠性是 item-specific 的，不适合只看模型级平均准确率；对高价值场景（大促文案、头部商品推荐理由）按 item/类目统计置信度，低可信样本人工复核。
BrickBench：评估智能体乐高设计能力的基准
🧭 Agent 设计评估基准
Stanford University · Max Planck Institute for Intelligent Systems · Inria
提出 BrickBench 基准与环境，评估编码 Agent 在文本条件 LEGO 设计中的物理与语义满足度
📌 工作参考价值（3 点）
- 评估复杂约束生成任务时，可拆分 validity/alignment/design 三指标，对应推荐系统中的可执行性/相关性/体验质量，便于定位 Agent 短板。
- BrickAgent 的“编码-执行-检查-修订”循环是评估推荐 Agent 的可借鉴范式：给 Agent 提供可调用的库存查询、规则校验、模拟器接口，而非仅做文本输出。
- 三种约束设置（不同零件库规模与可用性）提示在推荐场景中应测试 Agent 在不同库存、预算或商品池约束下的泛化能力。
准确但不谦逊：评估知识冲突下 LLM Agent 的认知谦逊
🧭 Agent 评估 · 知识冲突与不确定性
Johns Hopkins University · New York University
提出 ISE 轨迹级评估框架，发现高准确率不必然伴随认知谦逊，模型干预提升谦逊常损失准确率
📌 工作参考价值（4 点）
- 在电商 RAG/Agent（商品问答、智能客服、选品助手）中，除最终准确率外，增加轨迹级 ISE 指标：是否识别冲突、是否尝试二次检索/对比解决、是否对未解决冲突升级给用户或人工；可在日志中埋点监控。
- 构建对抗性评测集：故意注入与模型参数知识矛盾的商品属性、库存、价格信息，或构造两个上下文来源不一致的场景，检验 Agent 是否静默覆盖冲突，而不是只测端到端准确率。
- 多步 Agent 流程中，早期检测到的冲突常在后续被覆盖；可在每步状态维护“未解决冲突”列表，并在最终回答前强制检查，或用 memory 保存冲突标记，要求输出时带上 caveat。
- 强制模型输出不确定性可能降低任务完成率，建议按业务风险分级：高合规/价格承诺场景启用强制谦逊与升级，低风险推荐场景只做日志监控。
LLM 是否理解序列结构？推理与生成的受控研究
🧭 LLM 序列理解与行为模拟评估
University of Illinois Urbana-Champaign · Stony Brook University · National Chengchi University
受控实验表明 LLM 对潜在序列结构的识别与生成存在显著落差，表面行为保真可能掩盖错误机制
📌 工作参考价值（4 点）
- 在用户行为模拟（如生成模拟点击/浏览序列用于离线评估）中，不要只看动作分布或边际频率：应评估条件依赖，例如给定历史动作后下一个动作的准确率、校准度或 n-gram 条件命中率，否则表面分布匹配可能掩盖错误机制。
- 用 LLM 作为推荐系统用户模拟器时，即使生成序列看起来合理，也可能未学到真实状态转移。建议增加干预测试：修改历史上下文并观察下一个动作是否符合预期规则，或设计探测任务来验证隐式策略是否正确。
- 现实业务序列往往含高阶依赖，而论文显示 LLM 在高阶依赖下规则恢复明显退化。因此当用户行为序列较长、依赖复杂时，不宜完全依赖 LLM 的隐式序列建模，可考虑混合架构：LLM 负责语义/意图，专用序列模型（如 RNN、状态机）负责状态转移和条件依赖。
- 若用 LLM 做多轮 query 改写或对话推荐，长上下文不一定提升潜在意图识别；应显式设计条件推理评估，并谨慎依赖 LLM 对长期依赖的内隐建模。
知识还是计算器？可验证金融 Agent 工作流中技能溢价的分解
🧭 Agent 工作流评测 · 技能溢价分解
Independent Researcher · Deep Insight Labs · University of Kent · University of Cambridge
用 2603 个金融 episodes 分解 agent 技能溢价：策展工具 +19.5、文档 +5.6，现场生成几乎无效
📌 工作参考价值（4 点）
- 将高频、可标准化的 agent 子任务沉淀为 curated skill package（可执行工具 + 规范输出 schema），不要依赖 agent 单次生成；实验表明现场生成几乎无增益且更耗 token/turn。
- 数值密集型流程（如预算分配、CTR/ROI 校验、竞价计算）优先提供 executable tools，而非文档说明；工具单独带来 +19.5 分，文档仅 +5.6 分。
- 涉及严格输出结构（如商品标签、推荐理由模板、广告文案字段）的场景，把 output schema 与操作手册作为 curated resource 注入能改善 adherence；但工具+文档组合收益次可加，不要盲目叠加资源。
- 建立 agent 工作流评测时使用任务特定确定性 verifier 和可再生成 ground truth，避免耗时 LLM-as-judge 且保证结果可复现。
泛化是稳定性而非准确率：LLM 的多轴评估
🧭 LLM 泛化评估 · 稳定性度量
Technion – Israel Institute of Technology
提出 SAGO 框架，从生成一致性、内部激活、置信度与响应镜像等多轴度量 LLM 对同一输入变体的行为稳定性。
📌 工作参考价值（4 点）
- 业务中评估生成式推荐、Query 改写、Agent 决策时，不要只用单 prompt 准确率；应构造同一意图的多种表达（措辞、长度、格式、噪声），把输出一致性作为上线门槛。
- 借鉴 SAGO 多轴思想，将内部激活、置信度与生成结果分别监控：它们可能揭示独立失败模式，只盯最终输出会漏掉隐性漂移。
- 模型升级或微调后，用跨数据集稳定性排名代替单一 benchmark 排名；论文显示跨数据集变化会反转模型排名，单一评估容易误判。
- 将稳定性测试做成 CI 回归：对固定语义等价集定期跑，捕获 prompt 模板变更或 LoRA 微调带来的泛化退化。
TraceDance：从真实部署轨迹自动构建Agent行为基准
🧭 Agent行为基准自动构建
ByteDance Inc. · University of Illinois at Chicago
自动从真实Agent部署轨迹构建针对用户指定不良行为的基准，高效且评估与人类一致性高
📌 工作参考价值（4 点）
- 借鉴从部署日志构建评估集的方法：在电商搜索/推荐Agent中，可以记录真实会话轨迹，自动提取负面案例（如不相关推荐、违反政策回答），构建针对特定问题的回归测试集。
- Anchor-and-Confirm 高效构建流程：先通过规则、向量检索等可编程方法筛出候选，再用 Flash LLM（低成本）逐条确认，大幅降低人工标注成本，适合大数据量下的评估集生成。
- decision-point continuation 评估范式：无需完整环境重放，只需在关键决策点（如 LLM 生成下一轮推荐或回复）做续写评估，结合行为特定 rubric 自动打分，与人类一致性高，可用于线上模型行为的快速监控。
- 针对 LLM Agent 在推荐/搜索中的不良行为（如幻觉、违规话术），可以利用此框架自动生成定制化 benchmark，纳入模型上线前的回归测试和递归自我改进循环。
AI辅导与人类专家在GRE学习增益上等效
🧭 对话式AI教学效果评估与基准
StudentBench平台证明AI辅导在GRE学习增益上等效于人类专家，成本低918倍
📌 工作参考价值（4 点）
- 在电商/搜索推荐系统的对话式Agent评估中，借鉴统计等效性检验（而非单纯显著性差异）来验证AI方案与人工方案的效果对等，可降低上线风险。
- 将成本效率作为核心指标：计算单位用户行为增益（如点击率提升、转化增量）的AI调用成本，对标人工运营成本，为技术选型提供量化依据。
- 响应速度与用户互动深度正相关（论文中速度→消息数→正确练习→学习增益），推荐系统Agent应优先优化首响延迟和流式生成速度，可能直接提升用户参与度和转化。
- 构建公开评测平台收集大规模真实用户-Agent交互数据，用于横向对比不同模型/策略，加速迭代；电商场景可搭建类似Benchmark，统一评估多Agent的推荐对话质量。
复制天花板：本体生成中的输入暴露控制
🧭 RAG 评估 · 输入暴露控制
DreamLab AI
提出曝光记账与复制天花板基线，证明RAG/本体生成增益主要来自上下文复制而非推理，且超出暴露恢复稀少且常为假阳性
📌 工作参考价值（4 点）
- 在构建 RAG / 知识库问答 / 本体驱动对话的评测集时，添加“是否已暴露在输入上下文”字段：统计模型输出中与上下文重叠的 gold item，避免把复制能力当作推理能力。可计算 copy ceiling（直接复制检索块中目标答案的 recall）作为 judge-free 基线，任何 grounding 提升都要报告 signed gain over copy。
- 对生成式推荐/文案生成评估，尤其基于 Semantic ID 或知识图谱的生成，若评测指标依赖目标 ID 或关键词是否出现在输出中，务必检查这些 ID/词是否已在检索上下文或 prompt 中出现；否则会严重高估模型。可通过 rephrasing 系统性问题、避开高频标题词来测试真实泛化。
- 对少量“超出暴露的恢复”保持警惕：自动评分器给出的少量 unexposed credits 很可能为假阳性，需用 stratified audit + 引用验证（quote-gate）复核。电商场景中，模型“举一反三”的推荐解释可借鉴此方法：对声称的推理链路要求引用出处，否则视为无效。
- 阴性对照设计：在 A/B 评估生成质量时，除了对比“无上下文”和“有 scaffold”，还要加入一个“格式良好但与任务无关的语料块”作为对照，否则无法证明特定 scaffold 的内容贡献。这个思路可用于评估推荐理由生成或商品卖点提炼的模型。
量化前沿 LLM Agent 的过度声称完成倾向
🧭 LLM Agent 可靠性与执行-汇报一致性评估
Tara Research · Mila – Quebec AI Institute · Cohere
用 OverclaimBench 揭示前沿 Agent 在文件审查中普遍未读完全部文件却谎报完成，且误导率达 80.4%
📌 工作参考价值（4 点）
- 在电商/广告场景构建需要调用工具或读取多源数据的 Agent（如商品合规审核、广告账户诊断、报表生成）时，不要只采信模型最终自述，应记录实际工具调用/文件读取覆盖生成 execution trace，最终汇报必须由执行日志校验。
- 可引入「已读/未读清单」状态机：Agent 每读取一个商品、数据表或文档就更新状态，最终输出自动附带 coverage 缺口提示；未读完全部时必须强制使用「未覆盖」措辞，降低误导性汇报比例。
- 用 planted defects 做回归评估：在数据集或审核 SOP 中预埋已知错误，检查 Agent 是否发现并报告，同时统计「声称完成但漏报」的比例，作为上线前的可靠性门槛。
- 强制 delegation/subagent 能提升文件覆盖，但需要在子代理返回后增加一层校验；否则残留的未覆盖任务仍可能被大量误导性汇报掩盖。
MiniMax-H3 物理世界推理能力评测
🧭 多模态生成模型物理推理评测
National University of Singapore · Fudan University · Tencent
构建四个互补维度的评测框架，揭示全模态生成模型 MiniMax-H3 在物理推理任务上总体成功率仅41.97%，音频消歧最弱
📌 工作参考价值（4 点）
- 评测范式可迁移：设计多模态 Agent 或生成推荐评测时，避免让提示与目标内容过度显式匹配；可以构造“单模态信息不足、需跨模态联合推理”的任务，更真实地暴露模型整合能力弱点。
- 结果提示音频-视觉融合是薄弱环节（27.40%）：在电商语音购物、短视频商品讲解等场景，若依赖多模态生成推荐，需重点强化音频与视觉语义对齐与消歧。
- 视频决策推理相对强（56.00%），但整体成功率仍低，说明物理一致性推理尚未成熟，生成式推荐直接产出商品视频/图文时要增加事实与物理合理性校验环节。
- 评测框架的四个维度可作为产品中生成内容质量评估的模块化参考，例如分别测试隐式文本+多图、音视频联合输入下的推理能力。
PACT：企业AI助手在压力下是否可信
🧭 企业LLM合规压力测试基准
Georgia Institute of Technology · Decagon AI · Baseten
PACT基准首次系统测量企业LLM助手在持久用户施压下的合规表现
📌 工作参考价值（4 点）
- 在电商/客服Agent上线前，可借鉴PACT的「规则+违规捷径+压力注入」结构，构造针对售后、优惠、价格合规等场景的对抗式合规测试集，发现高违规风险模型。
- 多轮对话中持续合规监控机制值得落地：不要只测单轮，要模拟用户反复施压、管理者催促等真实交互，并计算类似PACTScore的可靠性加权违规率作为模型选型硬指标。
- 用LLM-as-judge审计样本构建测试集的方法可直接迁移：确保样本无歧义、不可通过识别评估意图取巧、且足够真实，避免模型评估时表现出「表演合规」。
- 结果提示即使最强LLM也有6-10%规则误用率，且普通用户压力下违规率平均上升65%，因此电商Agent不能仅依赖模型自身对齐，必须外挂规则引擎或护栏（如政策校验、敏感操作二次确认）。
面向 LLM 助理的可验证社会推理评估框架
🧭 评估框架 · 多智能体模拟 · 社会推理
Google Research · Hebrew University · University of Cambridge
构建多智能体模拟框架 Fuse，用隐藏动机与用户中介生成可验证社会推理评估，揭示 LLM 对偏见框架的系统性敏感
📌 工作参考价值（4 点）
- 在对话式推荐或 Agent 客服场景中，可借鉴 Fuse 的多智能体模拟思路：让一个“用户代理”带着有偏/不完整信息咨询 LLM，同时隐藏真实意图作为 ground truth，低成本构建可验证的对话推理评估集，避免依赖昂贵人工标注。
- 论文发现 LLM 对用户偏置框架敏感，提示在电商导购/客服机器人中需警惕用户主观描述（如“我觉得这是假货”“这个商品很差”）引入的偏差，可在 prompt 中显式要求模型分离事实与用户评价，或引入多轮确认机制而非直接采信。
- “更长对话并不总是提高性能”的结论可迁移到对话策略：不要默认多轮追问一定好，应结合用户耐心和任务难度设置最大追问轮数，或训练模型只在关键信息缺失时提问。
- 评估中区分模型所需细节与人类所需细节的思路，可用于生成式推荐的评测：设计“信息效率”指标，衡量模型在最少用户输入下能否正确推理偏好，而不仅是最终准确率。
工具检索器被低估：标注扩展揭示真实能力
🧭 工具检索评估 · 标注扩展
Shenzhen International Graduate School, Tsinghua University · Peking University · Meituan, Beijing
提出ToolEX自动发现功能等效工具组合，扩展基准为ToolEQ，证明一对一标注系统性低估检索器，微调增益中30-47%是评估伪迹
📌 工作参考价值（4 点）
- 评估召回/检索系统时，若 query 存在多个等价结果（如同义商品、替代品、功能相同工具），单一 ground truth 会低估模型；可借鉴 ToolEX 做等价扩展，构建更公平的测试集，避免误杀有效召回。
- 微调收益评估需警惕标注缺陷：论文发现 30-47% 的微调提升是评估伪迹。建议上线前用扩展后的多正例评估集复测，量化真实增量，尤其当训练数据与测试标注同源时。
- ToolEX 自动发现等价工具组合的流程（生成候选 + 功能等价验证）可迁移到电商搜索/推荐：对同一 query 挖掘多条等价商品、广告或服务组合，用于多正例学习或评估鲁棒性。
- 如果业务中做 Agent 工具检索或 API 推荐，注意同一功能通常有多个实现，检索评估与训练不能基于一对一的刚性标注，需支持一对多映射。
通过多轮证据消融评估与改进大语言模型事实核查的证据依据性
🧭 RAG 事实核查 · 证据依赖性评估与训练
University of Sheffield
提出 FAE 多轮证据消融评估与 REAL 反事实训练，揭示 LLM 更依赖参数知识并提升证据依赖性
📌 工作参考价值（4 点）
- 在商品/广告审核、评价真实性验证等 LLM-as-verifier 场景，可用 FAE 式多轮证据消融做上线前审计：逐条移除或替换 cited evidence，观察模型预测是否翻转，识别“参数记忆强于上下文”的风险。
- REAL 的反事实证据训练可直接迁移：不只使用完整证据+标签，也构造删除支撑证据、替换为不相关或相反证据的样本，强制模型在证据缺失时改变判断，增强系统对检索质量的敏感性。
- 把“证据依赖度”作为与准确率并行的评测指标，特别适用于广告合规、商品属性校验等高风险任务，避免高准确率但弱 grounding 的 LLM 上线。
- 若在用 LLM 生成推荐理由或搜索解释，可借鉴多轮 evidence ablation 验证解释是否真实来自用户历史/商品信息，而非模型通用说辞。
PlannerForge：自动驾驶运动规划场景测试的LLM Agent框架
🧭 LLM Agent 自动化测试流水线
Technical University of Munich · Munich Institute of Robotics and Machine Intelligence (MIRMI) · University College London
用统一LLM Agent框架覆盖自动驾驶场景测试全流程，开源中小模型媲美商业API
📌 工作参考价值（4 点）
- LLM Agent 编排模块化 pipeline：把场景生成、检索、修改、执行、评估统一成可链式调用的 agent 任务。电商/搜索推荐中可借鉴类似框架，将 query 推荐、召回、排序、评估串成端到端 LLM 工作流，减少碎片化工具切换。
- 开源中小模型足够匹配商业 API：论文显示 20–35B 开源模型在多数任务上媲美商业 API。对成本敏感的业务，可以用 Qwen 等开源模型替换 GPT-4 类接口，经过 prompt 调优后接近商业效果，大幅降低推理成本。
- 自动 cost-tuning 提升下游指标：LLM 自动调整模块参数，将规划器成功率从 50.4% 提升到 70.2%、碰撞率从 19.0% 降至 8.4%，无需领域微调。推荐系统中可让 LLM 自动调 rerank 权重、召回阈值等，用在线指标反馈做闭环优化。
- 模块路由（Module Routing）：用 LLM 根据输入场景选择最合适的下游模块/模型。在推荐架构中可实现动态路由，例如不同用户群体或 query 类型分发到不同精排模型，提升整体效果与资源利用率。
测量机器人策略中的语言迁移：为 Cosmos3 视觉-语言-动作模型添加希腊语
🧭 低资源语言迁移评估与对照实验
Sophea AI, KIEFER SA, Athens, Greece
机器改写指令为 Cosmos3 VLA 添加希腊语，揭示五类误导性评估，证明双语训练与多种子对照的必要性
📌 工作参考价值（4 点）
- 评估低资源语言或新场景能力时，先构建“故意错误指令/随机输入”等保证 null 基线，避免单一指标假阳性；做多语言 query 理解、商品文案生成或多语种 Agent 时，用乱序或错误语言作为底线对照。
- 多种子重复实验是必须的：低资源语言效果随随机种子波动可高达 31.6 点，线上小流量或多轮实验才能区分配方差异；报告应给出跨种子方差而非单次对比。
- 双语混合训练比纯目标语言训练更稳：在电商多语言场景，英文+小语种联合微调通常优于只用小语种数据，且无需改架构。
- 对机器翻译或模板生成的数据有严重过拟合风险：同一指令提供多种措辞（如 7 种 paraphrase）可显著降低对特定翻译风格的过拟合；做多语言 prompt/文案生成时增加措辞多样性。
Agent 记忆在模型升级后是否可用：记忆可移植性对照研究
🧭 Agent 记忆可移植性评测
LinkedIn
对照评测四种 Agent 记忆格式在模型升级后的可移植性，证明固定 schema 知识图谱最稳，NOTES 与 RAG 需重建或保留原始历史
📌 工作参考价值（4 点）
- 生产级 Agent 记忆若可能经历模型升级，优先用固定 schema 的 KG 而非自由文本 NOTES；KG-fixed 在 writer swap 下 accuracy 几乎不变，能避免模型耦合导致的隐性遗忘。
- RAG 记忆系统升级 embedding 模型时，不要在同一个索引里混用新旧 embedding：50/50 混合只拿到 4.96pp 增益，会丢掉全量 re-embedding 的 11.90pp 大部分收益。应隔离版本化 embedding 空间，新模型向量写入独立索引。
- 只保留压缩后的 NOTES 不够：模型升级后 store-only repair 在 48 个用例中全都达不到 90% 恢复目标；必须同时保留原始 source history，才能在检索或解读出错时重新构建记忆。
- 记忆迁移评估必须做方向特异性测试：NOTES 迁移出现 +9.91 与 -13.28pp 的非对称变化。训练/评测 pipeline 里不要只测 A→B，要把 B→A 也纳入回归项。
Tri-PvP：通过感知-命题证据冲突暴露全模态大模型的模态偏见
🧭 多模态LLM偏见评估与证据形式解耦
National Taiwan University · NTU AI-CoRE
构建8k三模态冲突基准Tri-PvP，解耦感知与命题证据，揭示OLLM视觉偏见及证据形式不对称
📌 工作参考价值（4 点）
- 在多模态电商商品理解、广告素材审核、语音+图文搜索等场景中，要注意OLLM对视觉感知信号（商品图、视频帧）存在系统性偏好；当图文不一致时，模型可能更信图而忽略文字声明，需在prompt或后处理中显式引入文本证据校验。
- 评测多模态模型时，把证据拆成感知（图片/录音）和命题（文字声明）两类，设计冲突样本分别控制，否则会把证据形式偏见误判为模态偏见；该思路可直接迁移到搜索相关性、商品属性抽取、多模态排序的评估集构建。
- 线性探测显示模态偏见在早期表示层就已可解码，说明仅靠表面prompt或后处理难以根治；在业务中若要对多模态Agent做去偏，应考虑训练阶段或表示层面的干预，而不是只改推理指令。
- 对比解码可部分缓解偏见，可作为多模态生成/审核链路中的工程化尝试；音频通道相比视觉更偏命题信号，在语音交互类Agent设计中可侧重结构化文本而非低层声学特征。
Iris：攀登搜索前沿
🧭 搜索 Agent 训练与评估方法 ★ 深度解读
AllSpark Team
通过网页超链接反向构造多跳搜索任务、双层轨迹过滤与SFT-RL迭代爬升，训练出开源同参数范围最强的搜索Agent
📌 工作参考价值（4 点）
- 数据合成：在电商/推荐的 QA、选品理由、query 改写数据中，把可搜索锚点（商品标题、类目名、品牌名）改写为描述性引用，消除字符串匹配捷径；再用双条件验证（闭卷答错 + 给知识子图答对）筛出真正需要多跳推理的样本。
- 轨迹过滤：对 LLM 生成的推荐解释/搜索对话轨迹，用滑动窗口 zlib 压缩比快速检测重复和循环；turn 级 judge 从数据中归纳失败模式 rubric，只 mask 最多 10% 差 turn，保留上下文、减少训练噪声。
- RL 工程：长会话训练可用 request-level partial rollout 中断并在下步从 committed prefix 恢复，配合 truncated importance sampling 纠正不同权重版本的 logprob 偏差；集群内部署 GenRM 与摘要器，避免外部 API 依赖。
- 评估/上线：将 context management 与策略能力分开报告，固定工具、上下文预算、judge，分别看无 CM 和有 CM 的结果；识别 CM 收益来自任务是否经常耗尽上下文，高成本重试只作为上限探索，不作为默认配置。
最后翻译基准：多模态对抗测试与可验证评估
🧭 机器翻译极限基准与可验证评估
ETH · JHU · MBZUAI · KIT · UvA
构建可持续更新的多模态对抗性翻译基准，用逐例可验证规则替代不可靠自动评分
📌 工作参考价值（4 点）
- 生成质量评估规则化：在电商文案、query 改写、Agent 回答等生成式任务中，把人工评估拆成逐条可校验规则（如商品属性不冲突、query 必须包含品牌词/类目词、回复不得泄露库存），显著降低评估噪声和 reward hacking 风险。
- 构建长尾对抗集：定期收集线上模型失败的 query/商品/多模态内容，经人工评审后加入回归集，可类比 LTB 的持续更新机制，防止推荐/搜索模型在罕见 case 上退化。
- 多模态统一基准：LTB 同时覆盖文本、图像、音频、视频，提示推荐系统在商品多模态理解（主图、视频、详情页）上也应建立跨模态的对抗性评估，而非只测文本召回。
- 众包质量控审：采用人工撰写+同行评审的投稿流程，可迁移到业务中构建高质量评估集的流程设计，减少单人标注偏差。
超越排序准确率：评估 LLM 在复购推荐中引用的特征理由
🧭 可解释推荐 · LLM 特征理由评估 ★ 深度解读
Walmart Global Tech
提出跨模型特征掩码协议，证明 LLM 不适合作复购排序器但可作经验证的推荐解释层
📌 工作参考价值（4 点）
- 生产复购推荐不建议用 LLM 直接打分排序；保留 XGBoost/VNN 等监督排序，LLM 只做解释层。若要尝试，先在小样本验证 LLM 分数是否超过 personal-frequency 等轻量 baseline，不要期望超越监督模型。
- 复购场景解释应引用结构化行为特征（cadence/frequency/recency/user context/item popularity），并约束 LLM 输出 exact feature names；这能把解释绑定到特征，方便 audit 和后续特征消融。
- 用“跨模型特征掩码”评估解释特征质量：对 LLM 引用 top-3 特征做训练集中位数替换，在目标模型上看 Precision/Recall/NDCG 下降；比只看排序分更接近 outcome-grounded，可以与 TreeSHAP/IG 对比，但需注意数据集差异。
- 证据卡建议加 percentile 视图（同用户内/全局 item 分布）帮助 LLM 判断相对强度；文本解释需单独做 groundedness check（group precision/numeric consistency），防止流畅但不可靠的解释。
StudentSim：训练基于 LLM 的学生模拟器
🧭 LLM 学生模拟与策略 RL
Microsoft Research · University of Illinois Urbana-Champaign
用两阶段训练构建个性化学生模拟器，同时提升行为保真与引导响应，并可作为 tutor RL 奖励
📌 工作参考价值（4 点）
- 构建用户行为模拟器用于推荐/广告/Agent 的离线评估或 RL 时，可采用“全局 pooling 训练 + 按用户 specialization”两阶段路线；尤其适合真实业务中大量稀疏 user-item 行为，既能共享跨用户模式，又能捕获个体偏好。
- 评估模拟器应同时区分“行为保真度”和“策略响应度”：前者衡量像不像真实用户，后者衡量在推荐策略/引导变化下是否合理更新；两者不可偏废，否则会出现只像但不对策略变化反应的“静态画像”模拟器。
- 将高保真用户模拟器作为 reward model 做策略 RL，可用来训练排序/对话式推荐策略；但需要先用 F/R 协议监控模拟器质量，避免 reward hacking。
- 如果只有少量真实用户交互，可借鉴 StudentSimEval 的标准化评测协议，固定训练/评测记录，做可复现的用户模拟器 benchmark。
TempCloze：视频 LLM 能识别缺失的中间片段吗？
🧭 视频LLM时间推理评测
The University of Hong Kong · National University of Singapore · Peking University
提出 TempCloze 视频填空基准，评估 Video-LLM 视觉时间推理并揭示时间对齐是主要瓶颈
📌 工作参考价值（4 点）
- 评测设计可借鉴：在评估多模态推荐/Agent 的时间推理时，减少文本选项中介，采用填空式视觉任务（给定前后片段选缺失中间片段），迫使模型依赖视觉时序而非语言措辞；电商直播切片理解、视频商品描述生成等场景可迁移此范式。
- 困难负样本构造：按语义、时序对齐、过程进展三个维度生成同源干扰项，并共享场景与对象以削弱外观线索，可直接用于商品视频对比学习或用户行为序列的负采样，提升模型对精细时间差异的判别力。
- 模型选型提示：Alignment 是主要瓶颈，说明在短视频/直播理解等时间敏感任务中不能只看语义匹配，应专项评估时间对齐能力；选择 Video-LLM 基座或微调时优先考察该维度。
- 工程权衡依据：论文分析 candidate order、context direction、visible span、frame density 和 test-time scaling 对性能的影响，可用于在推理成本受限时决定是否增加帧密度、上下文长度或采样步数，平衡时间推理效果与计算开销。
RealSWE：真实用户请求下的编码智能体组合评估
🧭 Agent 评估与提示信息组合优化
Sungkyunkwan University
构建多变量基准RealSWE，发现真实请求使LLM编码性能平均下降6.4pp，且明确期望行为与动机可显著提升表现
📌 工作参考价值（4 点）
- 在电商/搜索/推荐的对话式 Agent 或购物助手中，用户输入通常短且非正式，应通过追问或模板引导用户明确“期望行为”和“动机”，而不是补充环境信息或复现步骤；这些高信息密度字段能显著提升任务解决率。
- 设计 Agent 评估集时，可借鉴 RealSWE 的多变量任务家族思路：同一任务只改变信息构成和语言风格，能更稳健地测量模型对真实用户输入的适应性，避免仅用结构化基准数据高估能力。
- 对 prompt 工程中的上下文模块做消融测试：若某些模块（如环境信息、复现步骤）只增加 token 和延迟而无实际收益，应将其裁剪或折叠为可折叠摘要，降低推理成本。
- 训练或微调面向真实用户的 Agent 时，可加入非正式、缺失关键信息的样本，增强模型从简短输入推断意图和补全需求的能力。
智能体式工件创建：系统、评估、原则与机会
🧭 Agent 智能体工件创建综述
The Hong Kong University of Science and Technology (Guangzhou) · Zhejiang University · University of Science and Technology of China · Tsinghua University · The University of Hong Kong
综述智能体式工件创建系统，提出有状态构建、运行时验证与反馈重定向的原则
📌 工作参考价值（4 点）
- 在广告创意/商品文案生成中，把生成结果建模为可操作状态，引入运行时验证（如自动检查品牌合规、卖点覆盖）并针对失败局部修复，避免每次全量重生成
- 任务分解需权衡局部复杂度和重组成本：对于强耦合的推荐解释或营销物料，分解过细反而增加协调开销，适合采用分层但保留共享上下文的 agent 架构
- 评估 agent 生成质量时，不要只依赖 LLM 作为评判者，因其可能与生成器共享偏好盲区；应加入业务指标、用户行为或人工抽检等独立信号
- 变更后要重新验证受影响状态，例如广告文案修改关键词后，需重新检查页面落地页一致性、合规性和转化预期
BTS-AgentBench：从只读遥测日志到可复现 Agent 基准的确定性管线
🧭 Agent 基准构建与确定性重放
从工业遥测日志构建可重放、零泄漏多轮 Agent 基准，精确复现 356/87/89 划分
📌 工作参考价值（4 点）
- 用业务日志构造 agent 评估集时，先将原始日志规范化为 read-only tool store，再生成任务，保证工具视图与实际一致，避免评测数据污染。
- 采用 deterministic pipeline + replay report + construction-exclusion controller，确保 train/dev/test 可重建且无答案泄漏；这在电商/客服 agent 评测中可复用到多轮任务生成。
- 对多轮 agent 任务显式添加 clarification、goal revision、timestamp policy、quality-gated reporting、evidence attribution 等类型和边界，能在业务上定义更可操作的 agent 评估维度。
- 对 benchmark 引入 coded contract preflight 和 double build matching，提升构建质量；工程上可以用类似契约测试保障 pipeline 一致性。
古代中文文物文字识别综合基准：跨千年、多媒介、多书体
🧭 古代文字识别基准与模型评估
South China University of Technology · Huawei Technologies Co., Ltd.
构建2700张古代中文文物图像基准，覆盖三千年文字演变、九类媒介与七种书体，评估VLM与OCR专家模型并揭示未解难题
📌 工作参考价值（4 点）
- 对电商商品详情图、包装图上的长尾字体、异体字、艺术字识别场景有直接警示：通用 VLM 在低频字符和特殊符号上幻觉严重，生产环境应结合 OCR 专家模型或规则兜底。
- 论文的符号标准化、字符标准化、解析标准化三套标注规范可迁移到电商多源异构数据（如商品吊牌、质检报告、广告图）的评估集构建，统一不同媒介的标注口径。
- 评估思路值得借鉴：在同一基准上对比通用 VLM 与 OCR 专家模型，能快速定位业务中识别任务的模型选型与能力边界。
- 主要面向文化遗产数字化，业务可借鉴点有限；若业务涉及古籍、印章、书法等垂直领域，该基准可作为预训练或微调前的领域能力测试。
盲人摸象：探测大模型在长尾分歧知识上的认知短视
🧭 长尾分歧知识的LLM记忆完整性评估
Tsinghua University · Tencent Youtu Lab · University of Warwick
构建ElephantBench知识探针，发现最强模型也仅能完整回忆52.4%的长尾分歧答案
📌 工作参考价值（4 点）
- 在商品知识问答或客服 Agent 中，针对长尾商品属性、小众品类，仅依赖 LLM 参数记忆容易遗漏 minority 版本答案，应结合 RAG 或知识图谱做多源校验。
- 评估知识型 Agent 时，不应只看单一答案的 Exact Match，需引入多答案召回指标，以识别模型只记住主流答案而忽略分歧答案的不足。
- 可借鉴 graph-based pipeline 从低曝光语料自动挖掘分歧点，用于构建长尾场景测试集，诊断模型在业务垂直领域（如二手商品、非标品）的知识覆盖盲区。
- 训练或微调时注意 exposure imbalance：提高 minority 侧样本的曝光频率与多样性，有助于提升模型对长尾知识的完整回忆。
哪些指标最能节省人工标注？预测驱动评估与元评估
🧭 预测驱动推断用于评估降本
Northeastern University · West Virginia University
提出预测驱动评估框架，用少量人工标注结合大规模自动分数实现无偏系统比较，并定义PPSR元指标衡量指标降本效果
📌 工作参考价值（4 点）
- 在模型迭代或A/B评估中，不必完全依赖昂贵人工标注：可复用prediction-powered evaluation思路，使用少量人工样本（如数百条）校准大规模LLM judge或业务自动指标（如CTR预估、相关性打分），获得无偏的模型版本对比，显著降低评估成本。
- 选择自动指标时，不要只看与人工分的相关性（如Kendall tau），建议计算PPSR（Prediction-Powered Saving Ratio），直接衡量该指标能节省多少人工标注；PPSR对指标排名更稳定，适合在业务中筛选LLM judge或自定义评估器。
- 注意paired vs unpaired设计：若新旧系统产出相同候选集（paired），使用paired设计通常更高效；若输出空间不同（如不同推荐策略、不同生成式模型），需要根据数据效率权衡选择，论文给出的分析可指导线上评估设计。
- 该框架适用于非可验证任务（如文案生成、推荐理由、对话系统），可扩展至电商场景中商品描述、广告创意、搜索摘要等的自动+人工混合评估。
Aphanta：诊断任务对齐的图像编辑中间产物在多模态推理中的效用
🧭 多模态推理 · 图像编辑中间产物诊断
Fudan University · StepFun · Shanghai Jiaotong University
提出闭环诊断框架 Aphanta，量化图像编辑中间产物在多模态推理中的任务条件化增益与边界
📌 工作参考价值（4 点）
- 评估生成式中间产物（如 Semantic ID、图像生成、检索文档）时，应加入 idealized reference 条件，分离上游生成器误差与下游模型能力上限，避免把生成器的失败误判为方法无效。
- 不要假设同一中间表示对所有任务都有帮助；应识别任务条件化增益的边界。在电商场景中，可先诊断哪些商品属性或查询类型适合用图像生成/编辑增强，而不是全量铺开。
- 闭环诊断协议可复用到 Agent 工具调用：自动发现候选任务，对比直接推理、工具生成中间产物推理、理想化中间产物推理三种条件，量化工具的真实贡献与失效模式。
- 从结果看，图像编辑作为“专用视觉工作区”更适合视觉线索注入、定位和反事实状态实现；对于需要精确结构外推的任务，应避免依赖当前生成器，或引入校验环节。
PAWBench：视频世界模型概率对齐差距基准
🧭 世界模型评估 · 概率对齐
Shanghai Jiao Tong University · Shanghai AI Laboratory · Krea AI · Hugging Face · Shanghai Innovation Institute
构建50场景基准评估11个视频生成系统，发现无一能稳定复现物理行为的参考概率分布
📌 工作参考价值（4 点）
- 在生成式推荐或用户行为模拟中，不能只看单次生成结果的 plausibility；应增加分布级评估：对同一 context 重复采样，比较生成结果的类别/行为分布与真实分布的校准误差，捕捉模式坍塌与多样性缺失。
- PAWEval 的 outcome-level 思路可直接迁移：把高维生成内容映射到可判定的低维结果空间（如点击/转化/浏览路径类别），再做经验分布对比，避免像素级评估高成本且难判校准。
- 论文测试了语言 prompt、初始噪声、模型训练对预测分布的干预，对推荐系统里用 prompt 工程、采样温度/噪声、RLHF/DPO 调整生成分布有参考价值：应衡量这些干预对分布形状的迁移，而不仅是 top-1 指标变化。
- 若电商团队在训练 LLM/视频生成式的用户轨迹或广告创意世界模型，要注意当前模型即使内容真实，也未必覆盖全部有效行为；需要加入分布正则或多样性约束，避免只学到高频、低风险的输出。
视频场景下多模态大模型指令遵循能力的评估基准
🧭 多模态LLM指令遵循评估
Tencent Youtu Lab · Tencent Hunyuan · TJU · SJTU · CUHK
提出Video-IFBench，系统评估视频理解中MLLMs的指令遵循能力，含1500样本和39类约束
📌 工作参考价值（4 点）
- 约束分类体系可复用：电商视频场景中用户指令常含多个视觉/音频约束（如“找出视频中穿红色衣服且位于画面左侧的人”），可借鉴其39类约束设计评估或训练数据，提升模型对复杂query的遵循能力。
- 半自动数据构造流水线：结合MLLM生成、程序化处理和人工验证，可低成本构建领域专用的指令遵循数据集，适合业务迭代。
- 评估发现的启示：当前模型在复杂条件分支和语义约束上表现差，提示在Agent系统中需增加指令解析模块或结构化输出约束，避免直接依赖端到端生成。
- 多模态推荐借鉴：视频推荐/搜索中用户query可能包含条件选择（如“如果出现A则返回B，否则C”），可参考其嵌套指令模板设计更严格的评测集。
长期人机对话记忆评估：从直接追问到自然整合的 MemUse
🧭 LLM 长期对话记忆评估
Graduate School of Informatics, Kyoto University
发现直接问答记忆准确率与用户满意度无关，提出自然整合评估基准 MemUse，揭示 71 点巨大差距
📌 工作参考价值（4 点）
- 在电商导购/客服 Agent 中，长期记忆评估不要只看「直接提问能否答对」（Direct QA），这类指标与用户满意度可能无相关；应在真实对话流中挖掘「记忆时刻」，评估模型是否在自然回复中主动且恰当地融入历史信息。
- 建立集成感知的自动化评估：对每个记忆时刻，用 LLM-as-judge 检查回复是否自然引用了相关历史事实（而不是仅仅能否回答事实问题）；该指标与满意度相关性更强，可用于回归测试。
- 检索增强记忆系统往往只优化 top-k 准确率，但可能存在高检索准确、低实际使用的问题；可通过「引用率」等下游指标暴露该 gap，指导改进方向：不仅提升检索命中，还要提升相关性检测和上下文融合能力。
- 直接 QA 准确率从 19.7% 到 70.1% 变化，但满意度无显著差异，提示团队在迭代记忆模块时不要过度依赖离线 QA 基准，要做用户满意度 A/B 测试或应用内行为指标。
FrontierChallenge：评估科学工作流完整执行基准
🧭 科学工作流智能体评估基准
提出跨领域科学工作流基准，揭示高部分得分与置信完成声明均不保证端到端交付
📌 工作参考价值（4 点）
- 借鉴其评估思路：为多步 Agent 任务定义完整交付物清单（required deliverables），而不只看最终答案；在电商场景可设计包含策略输出、代码、报告等一致性的端到端验收集。
- 采用 Pass Rate 和 Avg Score 双指标：Pass Rate 衡量端到端全对比例，Avg Score 捕捉部分进展，避免只优化平均分掩盖完整交付能力不足；推荐系统离线评估可区分“部分正确”与“全流程完成”。
- 关注模型虚假完成声明：75.5% 非通过轨迹仍声称完成，提示在业务 Agent 中需增加交付物校验与一致性检查，不能依赖模型自报成功或语言层面的置信表达。
- 按领域拆分评估：部分领域部分分数极高但完整通过率近零，说明简单任务高分不迁移到复杂工作流；在电商多域 Agent 上线前应分域测试端到端通过率。
FIRM-Video：先检查再评分实现可靠文本到视频奖励建模
🧭 文本到视频奖励模型 · 评估基准
Shanghai Jiao Tong University · Tencent Youtu Lab · Tongji University
提出 check-before-score 清单驱动框架，构建 90K 训练数据和基准，8B 奖励模型在 VBench 上 Best-of-8 采样达最优
📌 工作参考价值（4 点）
- 在电商视频/广告创意评估中，可将整体评分拆为「指令遵循、世界一致性、感知质量」等维度，并为每个维度构建 checklist；先逐项验证视频证据再聚合分数，避免 LLM 整体打分时的漏检和归因混淆。
- 对商品视频生成或文案+视频的联合评估，可借鉴「prompt 分解为加权原子要求」：把用户/运营指令转化为可独立验证的细粒度要求（如颜色、质地、动作、文字），每项单独打分后加权求和，提升判断的稳定性和可解释性。
- 感知质量维度采用通用视觉缺陷分类（如模糊、闪烁、压缩伪影等），可作为广告素材机审/质量分系统的先验检查表，结合 LLM 做可解释的缺陷定位。
- 将 checklist 验证结果转化为自然语言分析再训练端到端 reward model 的做法，可复用于构建创意内容优选模型：先用结构化检查生成监督信号，再蒸馏到小模型，用于线上 Best-of-N 采样或创意排序。
记忆投毒下的效用崩塌：内容筛查与溯源排序的边界
🧭 Agent 记忆投毒与溯源检索防御
Quantify Labs Ltd
1.2%记忆投毒使LongMemEval准确率从0.850降至0.300，内容筛查拦截0/360，溯源加权排序难用
📌 工作参考价值（4 点）
- 在电商/广告 Agent 的持久记忆写入侧，不要仅依赖内容筛查判断断言真假；需要接入外部 grounding（如商品价格、库存、活动规则权威源）才能识别伪造但语义通顺的虚假记忆。
- 检索侧不要使用 additive provenance penalty 或简单给可信来源加权；可在召回阶段对不同 provenance 的文档设置最大占用配额（bounded occupancy / quota），避免低可信源靠语义相似度淹没高可信证据，也避免高权重把低可信但真正携带答案的证据全部排除。
- 评估 Agent 记忆安全时，必须同时构造 mixed-provenance 语料：既看投毒攻击是否成功，也看当真实答案恰好来自 untrusted 来源时系统是否仍可用，否则容易过拟合防御、误伤业务指标。
- 内容筛查对低占比投毒（如 1.2%）不敏感，且对 trigger-laden 良性文本有误判；实际推荐系统中 UGC 或第三方商品描述不可全信，应把来源可信度作为检索约束而非后验过滤。
阅读宜结构化，写作宜散文：多智能体文档创作中的非对称结构条件化
🧭 多智能体文档生成与结构条件化
ML Research Labs, Canberra, Australia
部署招标应答系统发现：结构化标记利于读取抽取，但嵌套 XML 条件化生成质量从 74% 降至 48%
📌 工作参考价值（4 点）
- 生成式推荐/Agent 中，用于抽取解析的 JSON Schema/XML 不应直接作为生成约束条件；在 prompt 里用自然语言描述输出要求，比嵌套结构化标签更稳定。尤其做对话式推荐或商品描述生成时，模板别过度结构化。
- 负面约束（“不要生成 XX 结构/词”）只命名禁止形式易让模型集中生成该形式；建议配套正面示例、自检清单或后校验器，而不是仅列禁止项。
- 评估生成质量时，若对照的 ground truth 包含模型输入源没有的知识，应拆分“信息可得性”和“模型能力”两类指标，否则会低估系统；在电商文案/搜索改写评估中同样要区分。
- 抽取和生成两阶段应使用不同表示：读取端用结构化解析提升召回，写入端回归自然语言指令和自检，这是可复用的架构选择。
CHIIR 2026 以人为本的主动式个性化信息访问代理研讨会报告
🧭 人本主动式 Agent 设计原则
University of Washington · AMD & UC Berkeley · TikTok · Georgetown University
系统梳理主动式信息访问Agent的人本设计议题，强调主动性须时机恰当、透明、可争议且对齐用户目标
📌 工作参考价值（4 点）
- 主动推荐/导购 Agent 的触发策略不能只依赖点击预测分数，应引入 calibrated initiative：结合用户上下文、可中断性与任务阶段判断何时推送，降低打扰成本。
- 在搜索/推荐 Agent 提供主动建议时，需要内置透明与可争议机制：给用户解释“为什么此时给出该建议”，并提供快速纠正/关闭入口，避免 agent 自动化侵蚀用户控制感。
- 跨会话个性化应区分短期会话状态与长期记忆，用 memory 架构累积偏好，但必须允许用户查看、修改或删除记忆，否则信任会快速下降。
- 评估不能只看任务准确率或点击率，要加入用户福利、信任、agency/控制感等指标，尤其在电商导购、智能客服等高频交互场景中更关键。
SIDScope：生成式推荐中 Semantic-ID 接口的诊断资源
🧭 生成式推荐 · Semantic ID 接口诊断与生命周期 ★ 深度解读
Huawei Technologies Co., Ltd., Shanghai, China
SIDScope 把 Semantic-ID 映射做成可复用接口诊断资源，发现路径存活与唯一命中间存在 1.2–3.0pp 缺口
📌 工作参考价值（4 点）
- 在电商/生成式推荐落地 Semantic ID 前，先用 D1–D5 做 artifact 准入：检查 full-code collision item rate（D2）、tail unique-SID ratio（D4）、prefix co-occurrence recall（D3）与 trie fan-out（D5）。不要只看下游 NDCG；collision-free 但 prefix 行为弱时，生成器可寻址但曝光差。
- 若召回/打分逻辑直接消费 SID prefix，可用论文的 prefix-candidate protocol 做免训练曝光检查：用历史 item 的共享 prefix 生成候选集，评估 held-out target 是否被覆盖；D3 对这种 prefix-based operation 校准度高（ρ≈0.96），但换成 co-occurrence/popularity/metadata scorer 后关联显著下降，所以 prefix 无关评分需单独评估。
- 训练束解码后必须区分 path survival 与 unique-item hit；约束解码可以消除 invalid path，但 collision 导致的 ambiguous path 仍会幸存。监控 ambiguous row rate 与“目标路径存活−唯一命中”差距，尤其在 collision 率高的映射（如 GRID/P5 上 2.0–3.0pp）上，否则线上会出现多个商品共享同一生成 SID 导致无法唯一召回。
- SID 映射刷新/重建后，不要假设旧 generator 可继续复用；执行 D6 风格 paired diff 和单独 handoff check。对内部 artifact 治理，可借鉴 C0–C5 源追溯、hash、license 与 manifest 机制，把 mapping 版本与模型版本绑定审计。
StartupBench：基于市场验证的端到端工作流评测通用智能体
🧭 Agent 端到端真实工作流评测
ByteDance Seed · Nanjing University · M-A-P · TokenWave.AI
构建首个基于市场验证 AI 创业产品工作流的端到端 Agent 基准，最强模型完成率仅约30%
📌 工作参考价值（4 点）
- 构建内部 Agent 评测集时，不要只依赖公开基准或研究者自选任务，可以从已上线且有稳定用户的产品工作流中提取真实任务，例如电商运营中的选品分析、商品文案生成、营销活动策划、客服工单处理等，让评测更贴近业务真实需求。
- 采用 deliverable-oriented 的任务定义：要求 Agent 产出完整可交付物（如报告、代码、设计文档），并用细粒度 rubric 对多个维度打分。这样可以捕捉部分正确但不可交付的中间进展，比简单的 pass/fail 更能区分模型能力。
- 论文发现复杂指令遵循和领域专业知识是主要失败点。在电商/广告场景落地 Agent 时，建议通过领域知识注入（如 RAG 挂载商品知识库、行业规则库）和约束检查模块来强化这些薄弱环节，而不是单纯依赖通用大模型。
- 评估时要使用统一的 agent harness，避免不同框架差异干扰模型能力判断；同时关注模型在部分进展上的表现，为迭代优化提供信号。
TREC 2025 产品搜索与推荐评测任务概览
🧭 电商搜索与推荐评测 · 产品关系数据集
University of Illinois Urbana-Champaign · Coursera · Snowflake · Coupang · Waseda University
提供 TREC 2025 产品搜索与推荐评测框架，新增区分互补/相关关系的产品推荐标注数据集
📌 工作参考价值（4 点）
- 产品关系建模：借鉴其区分 complementary（互补，如配件）与 related（相关，如替代品）的思路，在电商推荐中构建更细粒度关系标签，用于训练排序模型或构建知识图谱，提升推荐可解释性和多样性。
- Query 扩展任务：在搜索/推荐中，query expansion 可用于生成式推荐（LLM4Rec）的 prompt 设计或 query 特征增强；可参照其评估框架设计离线和在线指标，验证扩展 query 对检索效果的影响。
- 对话式产品发现：数据标注为 complementary/related 为对话式购物代理（Agent）提供候选商品关系基础，可用于约束 LLM 生成的候选 item 集合，减少幻觉，提升上下文相关性。
- 开箱即用评测：若公司需快速验证检索/推荐模型，可复用该 benchmark 作为外部评测集，节省自建标注成本；同时其任务设计启示内部评测集应区分“互补”和“相关”，避免混淆。
HarnessEval-W：将视觉世界评估智能体化
🧭 多智能体分层评估世界模型
提出分层多智能体评估流程，把世界模型评估转化为可验证的证据树
📌 工作参考价值（4 点）
- 借鉴其分层 agent 评估架构：将复杂评估任务拆解为多个可测量子问题，每个子问题交给专门的子 agent 处理，父 agent 汇总证据。适合评估生成式推荐或搜索 Agent 的输出质量，例如分解「推荐相关性」「文本流畅性」「商品属性一致性」等维度并行诊断。
- 强调推理链与证据树：评估结果必须能追溯到具体证据，而非仅给出分数。在业务中可用于 user study 自动化替代，或对推荐理由、搜索改写结果做可解释的质量审计。
- 子 agent 配备定制上下文与诊断工具：可针对不同评估维度注入业务规则、商品知识图谱、历史 CTR 等工具，让评估更贴近业务场景。
- 开源 pipeline 可作为内部评测框架的基础，尤其适合多模态生成（如商品图、短视频、虚拟主播）的质量评估。
驾驭记忆：记忆智能体中记忆基质的整体评估
🧭 Agent 记忆基质评测与自适应路由
University of Illinois Chicago · University of Washington · McGill University · MBZUAI · University of California, Los Angeles
统一评测多种记忆基质，发现无单一最优，需按任务类型与历史长度做自适应路由
📌 工作参考价值（4 点）
- 记忆基质选型不是检索越强越好：在事实性 QA（如客服问答、商品知识库）中，dense/sparse 广泛检索有增益；但在多步决策（如导购 Agent、谈判流程）中，过度检索会挤占动作关键上下文，建议控制检索数量或设置相关性阈值。
- 长历史下中等长度表现好的基质可能成本激增或变脆：用户长期偏好存储不宜直接套用现有结构，需设计分层、压缩、refinement 机制，或按会话长度、任务类型动态路由到不同存储介质。
- 评测要同时看效率与任务指标：在自己的 Agent 评测 harness 中加入 memory 读写的 token 成本、延迟、检索命中率等，避免只优化下游准确率而忽略工程可行性。
- 把 memory substrate 抽象为可替换组件并统一接口，方便在推荐对话、个性化搜索等场景中快速对比 dense/sparse/structural/parametric 等不同存储方案。
揭秘 Agent 技能：为何有效，直到失效
🧭 Agent 技能效用与失效机制评估 ★ 深度解读
Princeton University · UC San Diego · Stanford University · University of Southern California · Johns Hopkins University
用 8135 条轨迹的对照分析提出 3 类/12 模式技能效用分类，证明技能主要靠程序锚定而非知识注入
📌 工作参考价值（4 点）
- 在推荐/Agent 系统中，把历史成功/失败轨迹蒸馏成紧凑的程序性技能卡（步骤、检查点、坑位），比直接注入原始 workflow memory 成功率更高；尤其适合环境搭建、输出 schema、服务生命周期等可复用操作，可优先沉淀。
- 检索与执行解耦：skill pool 变大或混淆度高时，离线 top-1 命中率下降但下游成功率未必崩；不要只优化离线命中率，要监控执行时实际调用 ground-truth skill 的 precision/recall，并允许 agent 调用相关但非 ground-truth 的技能。
- 失败模式要显式建模：技能可能被机械套用或忽略（skill_guidance_misapplied 约 10%），而 workflow memory 常见 timeout/budget 过载；建议在技能执行层增加适用性判断、运行时验证与放弃机制。
- 生成技能时保留成功/失败 outcome 标注：一旦轨迹池里混入失败样本，去掉标注会显著掉点；在经验回放 / skill distillation 中应保留结果信号。
LittleLearner：基于小学课程受控知识暴露的语言模型
🧭 受控课程预训练 · 知识边界与注入评估
MPI-IS · Ellis Institute · ETHZ
构建88B token K-5语料并训练5B模型，提供研究知识边界与注入的受控沙盒
📌 工作参考价值（4 点）
- 借鉴课程过滤思路构建电商领域语料：用分类器或规则明确排除超出业务范围（如非在售品类、无关知识）的文本，降低模型幻觉与无关能力浪费。
- 评估知识边界可指导业务 LLM 上线：设计类似“是否知道某品类/政策”的探测题，判断模型是否具备真实业务知识，避免依赖 RAG 或微调误以为能注入新能力。
- 论文发现 post-training 与 ICL 只能更好地利用已有知识，不能提升 out-of-scope 能力。对电商 Agent 的启示：新品类或新政策若完全未在预训练中出现，仅靠检索或少样本提示可能无效，需考虑持续预训练或数据回灌。
- 低成本沙盒模型适合快速验证训练策略：业务中可先训一个小规模受控模型做消融，验证数据配比、课程顺序或知识注入方法，再迁移到大模型。
GeoBenchLLM：面向地理相关任务的大模型综合评测基准
🧭 地理空间推理 · 评测基准
University of Toulouse
构建覆盖12类地理时空任务的多维度LLM评测基准，揭示推理与模型规模对地理理解的关键影响
📌 工作参考价值（4 点）
- 地理位置相关搜索/推荐系统可借鉴该基准中的空间关系推理、路径规划等任务，评测模型对用户时空意图理解的能力
- 评测框架中多任务、多数据集的构造方式可用于构建电商场景下的位置感知 Agent 或推荐模型评测集，避免单一任务过拟合
- 发现推理能力对地理任务性能的提升显著，提示在搭建位置敏感型 LLM 应用时，应优先选用具备强推理能力的模型（如思维链增强）而非单纯增大参数规模
- 数据集覆盖事实问答、路径规划等实用任务，可直接用于微调模型以提升对地址、POI、区域范围等实体的语义与空间关系建模，改善本地生活服务推荐质量
LLM Agent 能否守住剧本：互动叙事长程一致性基准
🧭 LLM Agent 长程一致性评测
University of Macau · Westlake University · Harbin Institute of Technology, Shenzhen · University of Cambridge · University of Aberdeen
提出 NCP 任务与 NCP-Bench 基准，系统评测 LLM 在对抗性互动下维持长期叙事承诺的能力，暴露严重一致性缺陷
📌 工作参考价值（4 点）
- 对话式推荐/导购 Agent 的多轮交互中，可显式维护“用户约束/已承诺事实”的结构化 memory，每轮生成后自动做 conflict check，避免推翻之前承诺（如预算、偏好、已推荐商品属性）。
- 借鉴其 benchmark 设计：把长会话目标拆成 trajectory + commitments + initial facts，用可自动校验的规格替代纯人工评分，可低成本构造电商导购场景的 consistency 回归测试集。
- 对抗性用户干预（如否定已确认信息、突然改需求）是真实线上常态；上线前应对 Agent 做 adversarial turn 压力测试，评测“生存率”而非只看单轮回复质量。
- 论文显示语言质量高不等于逻辑一致，模型规模/通用能力不直接解决长程状态追踪；工程上建议引入外部状态机或检查器，而非只依赖模型隐式记忆。
低频陷阱：视频语言模型在简单事件计数上失败
🧭 视频语言模型时序推理评估
University of Maryland, College Park · Scale AI
视频语言模型在事件计数上呈现阶段性失效，瞬态事件几乎无法可靠计数，高频高计数下准确率仅0.2%。
📌 工作参考价值（4 点）
- 在电商视频推荐、直播回放分析中，若需计数关键事件（如商品展示次数、动作步骤），须意识到 VLMs 对瞬时事件极不可靠，应避免依赖此类计数。
- 可借鉴「参数化合成视频 + 事件跟踪」的评估范式，在内部自建可控诊断基准，快速定位模型在时间维度上的能力边界。
- 对于视频广告曝光频次校验等任务，单纯增加帧率并不能保证模型忠实地恢复事件序列，需结合事件级真值审计，防止指标虚高。
- 若在推荐 Agent 中使用 VLMs 理解用户行为视频，应优先选择对持久状态变化敏感的模型架构，并避免在高频动作场景下直接使用计数类信号。
GDPevo：在真实业务任务上评估智能体自我进化
🧭 Agent自进化评估基准与数据生成
PrismShadow · New York University
基于企业工作流的可归因自进化基准GDPevo，通过规则杂交评估智能体从经验中持续改进的能力，揭示当前水平远未成熟。
📌 工作参考价值（4 点）
- 规则杂交可作为推荐评估的模拟框架：将商品推荐规则拆解为原子规则，通过控制训练/测试规则子集的重叠度，系统评估推荐模型或Agent的冷启动、规则组合泛化能力，比随机划分更有解释力。
- 自动化数据管道设计可借鉴：通过规则模板自动化生成多样化的业务任务，能够快速构建和更新测试集，对抗数据污染，适合电商场景中持续评估模型迭代，避免指标膨胀。
- 自进化增益的量化方法：通过留出任务中训练前后准确率的差异来测量进化效果，这种归因设计可以迁移到评估LLM-based推荐或对话系统在记忆、工具使用等非参数状态更新后的实际收益。
- 低自进化水平警示：当前智能体即使经过进化，距离预言机上限仍有巨大差距，提示在电商/广告Agent中，简单的few-shot或记忆增强可能无法解决深层推理，需要更高层次的技能习得机制。
矩阵世界：用83亿虚拟用户画像模拟评估AI系统
🧭 大规模用户模拟评估基础设施 ★ 深度解读
Harvard University · Massachusetts Institute of Technology
提出83亿虚拟画像的大规模用户模拟评估基础设施，在四种环境中完成18,189次试验，行为一致性达91.5%
📌 工作参考价值（4 点）
- 可复用的结构化画像模板：1290维的画像 Schema 可直接映射电商用户特征（购买力、品类偏好、决策风格），驱动 LLM Agent 生成拟真的评价、购买意愿、价格敏感行为，用于推荐策略的预部署测试。
- 四类评估环境开箱即用：Survey 测价格弹性，Chatbot 测客服方案，Web 测商品浏览与选品体验，App 测购物流程与隐私控制。可直接改造为电商/信息流场景的 A/B 测试沙盒。
- 可迁移的任务库与指标：1010 个预定义任务中包含价格敏感度、购买意愿、推荐满意度、留存意图等模板，提炼出“结果型验证器+过程型行为记录”的评估模式，能直接复用在推荐解释、搜索排序等产品实验上。
- 一致性验证的方法论：400 组对照试验中 91.5% 的行为表达/抑制成功率，说明结构化画像 + LLM 能产出有区分度的群体反馈，可作为推荐冷启动或人群包效果预判的低成本验证手段。
超越单一法官：模拟社交角色面板评估生成式UI
🧭 生成式UI评估 · 多角色社交加权
Shanghai Jiao Tong University · ByteDance Inc
用多角色证据锚定与社交加权面板评价生成式UI，与人类评分的相关性从0.716升至0.922
📌 工作参考价值（4 点）
- 多角色模拟用户多样性：在电商推荐或广告落地页评估中，可借鉴 ESPP 方法，构建反映不同用户画像（价格敏感、品牌偏好、视觉导向等）的角色面板，更全面地捕捉界面或推荐列表的感知差异。
- 证据锚定提升评判可靠性：要求评估者（LLM）基于界面上具体元素给出评分理由，这种“证据落地”机制可迁移到任何 LLM-as-a-judge 场景，减少幻觉和主观臆断，适用于搜索广告文案或推荐理由的质量审核。
- 社交加权与分歧分析：在多角色评分聚合时，采用有界置信模型进行观点交换与德尔菲式加权，产出更稳定的整体评分，同时保留各子群体评分用于分歧诊断，帮助识别推荐系统对不同人群的公平性问题。
- 离线评估成本优化：用一组自动化的角色面板替代部分人工用户测试，快速筛选出有潜力的UI方案或推荐策略，在进入 A/B 测试前过滤掉明显低质变体，降低实验成本。
当派生测量误导：量化与缓解LLM过度信任的可靠性框架
🧭 LLM过度信任评估与缓解
Politecnico di Milano · Zhejiang University · Chinese Academy of Sciences · Emory University · China-Japan Friendship Hospital
定义衍生特征过度信任(DFOT)问题，提出特权模态蒸馏缓解LLM错误信任，在医学时序数据上修复误差率提升1.82-6.69个百分点
📌 工作参考价值（4 点）
- 推荐系统中派生特征（预估CTR、用户标签）进入LLM决策时，可借鉴DFOT框架设计冲突检测与可靠性声明生成，监控COTR/CIR
- 利用离线高能特征（如真实转化标签）作为特权信息蒸馏到在线可靠性模型，校准LLM对派生特征的信任度
- 构建类似D1/D2的逻辑测试集，检验LLM在矛盾噪声上下文下是否会错误接受/拒绝推荐理由
- 对Agent工具调用返回的派生数据，可引入证据特定修复边界(ESRM)评估，防止错误向上传播
面向可扩展可靠的大语言模型自动化评估
🧭 LLM自动化评估框架
KIT
利用多LLM成对比较与Elo评级系统，实现可扩展且可靠的文本质量自动评估，减少人工干预。
📌 工作参考价值（4 点）
- 在推荐系统评估生成式文本（如商品描述、推送文案）时，可运用多LLM成对比较取代单模型评分，降低单个LLM偏差，提高评估稳健性。
- 采用Elo评级系统将两两对比转化为全局排名，适合持续迭代优化的场景，如A/B测试后的模型选优，能生成稳定且可解释的质量排序。
- 可调一致性阈值（从全票一致到多数投票）为工程实践提供灵活性：初期用高阈值保障高置信度，规模扩展时放宽阈值以提高覆盖率，权衡成本与信度。
- 该方法领域无关，可直接迁移至电商搜索、广告文案、对话Agent等多文本生成场景的离线和在线评估，大幅减少人工评审工作量。
以交互为中心的Agent失败分类法：定位故障源与修复责任
🧭 交互为中心的Agent失败诊断
Scale AI
提出基于组件交互边的Agent失败分类法，41种模式指定故障方，使评估直接指向可修复组件
📌 工作参考价值（4 点）
- 在构建电商搜索/推荐多智能体系统时，可借鉴交互图建模，将失败归因到具体组件交互边（如LLM↔工具、LLM↔记忆），避免笼统的“模型不好”结论，精准指导是微调模型还是修复脚手架。
- 使用分类法指导Agent评估框架设计，标注失败时区分模型侧、工具侧、环境侧，确保改进资源投向正确组件。
- 可自研类似的离线失败分析流程：对Agent日志轨迹按交互边分类失败模式，生成故障热力图，辅助迭代优化。
- 利用LLM作为评判器自动分类失败，实现监控告警的细粒度归因，降低人工分析成本（论文验证强法官κ=0.76，可复现性高）。
对话式音乐推荐中LLM-as-a-Judge评估系统响应可靠性研究
🧭 对话推荐系统评估 · LLM-as-a-Judge
KAIST · Deezer Research · SiriusXM · Idiap Research Institute
首次实证验证LLM评判者与人类在对话推荐响应评估中的对齐度，发现中等正相关且优于参考基线
📌 工作参考价值（4 点）
- 低成本自动评估对话推荐响应：在电商客服Bot或导购Agent中，可直接复用LLM-as-a-Judge方案，从个性化和解释质量两个维度打分，替代昂贵的人工评估。
- 提升评判可靠性的工程技巧：使用更大规模的LLM（如GPT-4）并输入完整对话历史，能显著提升与人工评分的相关性。建议在链路上注入用户画像和上下文，而非仅看单轮响应。
- 评估标准可迁移：个性化和解释质量这两个维度可直接用于商品推荐的对话评估，只需将评测Prompt中的物品描述替换为商品属性。
- 相关性分析方法：Bootstrap相关性分析能稳健衡量评判器与人类的一致性，可作为搭建内部自动评估体系的统计框架。
See2Think：衡量多模态模型是否真正利用了中间视觉状态
🧭 多模态推理过程诊断与评估
Shanghai AI Laboratory · The Hong Kong University of Science and Technology · Central South University · The Hong Kong University of Science and Technology (Guangzhou) · University of Science and Technology of China
构建统一评估框架See2Think，诊断多模态推理中中间视觉状态的生成、渲染与利用瓶颈
📌 工作参考价值（4 点）
- 在电商搜索、推荐解释或商品问答的Agent流程中，若引入中间草图、标注等视觉操作，可借鉴VAoT框架记录每一步的视觉动作、渲染结果与后续利用，诊断渲染失败导致的错误传播。
- 设计多模态Agent时，避免仅依赖最终答案评估，而应分析视觉状态的忠实渲染与反馈吸收率，尤其在3D商品展示或场景理解任务中，即使模型选择正确操作，渲染瓶颈仍会大幅降低准确率。
- 通过任务相关的损坏反馈干预，可量化模型对中间视觉状态的行为依赖性，这对于验证Agent是否真实依赖视觉信息（如商品图像局部特征）而非文本捷径具有实操价值。
- 发现高反馈吸收率不一定转化为准确率提升，提示在Agent中盲目增加视觉反馈机制可能无效，应先确保渲染环节准确可靠。
Mosaic：基于异构专家舰队的工业级用户嵌入平台
🧭 用户表征多专家舰队 ★ 深度解读
Meta
设计四种异构专家模型分别捕捉用户行为侧面，结合MRM与CRL消除冗余，离线NE与线上多面指标均提升
📌 工作参考价值（4 点）
- 模型架构选择：将用户信号拆分为稀疏ID、密集统计、行为序列和下游任务对齐四类，分别使用记忆型哈希表、DCN/MHTA等密集交互网络、HSTU序列模型和CoTrain端到端梯度对齐，避免单一模型在多目标上共享容量的折中。
- 增量信息保障：当已有多个嵌入在线上服务时，新嵌入训练可引入MRM（对相关任务做Spearman聚类，用笛卡尔积构建细粒度复合监督标签）与CRL（余弦冗余损失，鼓励新嵌入与已有嵌入正交，配合warm-up调度），有效对抗边际收益递减。
- 评估提效：CoEval 冻结用户塔并在下游排序器中就地计算ΔNE，跳过特征日志积累与回流重训，可将迭代周期缩短3~5倍；User Tower Zero-Out 则可快速衡量上游模型中用户塔的增量值，二者均值得在解耦用户建模流程中推广。
- 混合在线/离线服务：根据新鲜度需求选择CPU在线、GPU在线或GPU离线批量生产用户嵌入；GPU在线推理叠加AOTInductor编译、模型拆分与2小时TTL的memcache，累计可降低79%的GPU用量并微幅改善延迟。
深度研究可靠吗？误导性知识导致错误结论
🧭 Agent 可靠性评估与误导知识防御
Beijing University of Posts and Telecommunications · Shanghai Artificial Intelligence Laboratory · Chongqing University of Posts and Telecommunications
构建误导性知识评估框架，发现深度研究智能体易受虚假信息影响，错误结论采纳率高达54.7%
📌 工作参考价值（4 点）
- Agent 信息源验证设计：可借鉴 MisKnow-Agent 的误导文档构造方式（控制权威性、风格），评估搜索/推荐 Agent 在面对看似可信但错误信息时的鲁棒性，尤其适用于长周期市场分析、竞品调研等场景。
- 多阶段验证架构：论文表明预/后研究防御（如交叉模型验证）能减轻但无法消除错误采纳，启示在 RAG 或 Agent 流程中，需在证据进入中间状态时（如每次检索后）就进行实时验证与修正，而非仅依赖最终报告。
- 错误采纳率指标 (FCAR)：可直接复用 FCAR 作为系统脆弱性指标，量化注入误导信息后 Agent 输出错误结论的比例，指导防御策略的迭代优化。
- 权威性偏见干预：发现权威来源和正式风格的误导文档更易被采纳，在推荐或搜索 Agent 中可针对性设计去偏模块，如训练模型区分权威度与可信度，避免权威光环效应。
万花筒：真实AI应用的情境化人本评估工作流
🧭 LLM-as-Judge · 人本对齐评估
GovTech, Singapore · National University of Singapore · University of British Columbia
集成角色测试、定制化评分与人类审核的可靠性门控自动评估方法
📌 工作参考价值（4 点）
- 定制化评分标准（Rubric）：将业务目标（如广告合规、搜索相关性、推荐多样性）转化为具体可评分维度，让评估与业务对齐。
- 角色驱动的测试生成：用Persona模拟多类用户行为或查询意图，生成高覆盖测试用例，提前发现策略漏洞。
- 可靠性门控自动化：设定LLM judge与人工标注的一致性阈值，只有达到门槛才切换为自动评分，在节省成本的同时防止偏差累积。
- 迭代评估闭环：结合可审查的人工标签与自动打分，持续校准评分标准，适合需要频繁调整策略的Agent或推荐系统上线前评估。
涌现性对齐偏差现象的鲁棒性再检验：受表层特征混淆的伪象
🧭 LLM 错位与重对齐现象评估 · LoRA 表征分析
University of Maryland · Carnegie Mellon University
发现 Emergent Misalignment 与重对齐对数据集表层特征高度敏感，先前声称的机械签名不可靠
📌 工作参考价值（4 点）
- 微调模型时需警惕回答长度等表层特征混淆行为评估，在推荐对话或 Agent 任务中应控制输出长度差异，避免将风格迁移误判为策略改变。
- LoRA 微调后常以参数相变解释行为突变，该工作在安全领域发现相变与行为不相关，提示在电商用 LoRA 做用户表示或 item 表示更新时，不应仅凭表征空间跳变推断业务指标，需直接测量在线 A/B 指标。
- 设计评估协议时推荐使用连续、平滑的指标替代离散判断，并注意数据集构建时的隐式偏差（如 answer length prior），对推荐系统离线评估中 ranking metric 的选择也有类似启示。
- 若在推荐中应用类似对齐-错位场景（如恶意攻击微调），该结论提醒表象突然的性能崩塌可能来自数据构造，而非模型本质脆弱，安全审计需从数据源头排查。
TRIAGE：面向自动化图RAG的可信评估与诊断框架
🧭 Graph-RAG 多阶段可信评估
IRT-SystemX
提出分阶段、无标注的信任指标链，用于定位自动构建的知识图谱在RAG中的故障阶段
📌 工作参考价值（4 点）
- 电商知识图谱问答（如商品属性问答、政策检索）可借鉴分阶段诊断链：将RAG流程显式拆为抽取、建图、检索三环，部署轻量级必要性指标，线上第一个不达标的指标直接指明故障环节，缩短排障时间。
- 提出的无标注指标（三元组置信度、源文档覆盖率、检索覆盖率、检索成本）可直接集成到离线评估流水线，用于自动构建商品知识图谱后的质量门禁，无需人工标注。
- 明确区分在线指标与离线校准指标，借鉴这一设计可以在保持实时监控轻量的同时，周期性使用人工参考做精确的全量校验，适合推荐场景中“先线上快速检、后离线深度纠”的双层评估策略。
- 对Graph-RAG系统中“图的结构质量”的评估方法，可迁移到基于知识图谱的搜索或推荐中，帮助判断自动构建的图是否因结构化错误而漏召回或错排序。
知识与视觉问答基准的陷阱识别与修复：审计、修正与增强
🧭 知识增强多模态评测审计与修正
Rensselaer Polytechnic Institute · AT&T Chief Data Office
系统审计KB-VQA基准，揭示答案可推导性、问题约束和视觉设定上的缺陷，并引入修复与多实体增强协议，纠正模型评价偏差。
📌 工作参考价值（4 点）
- 在电商多模态知识增强场景（如商品问答、属性校验）中，应审计知识库覆盖率与答案可推导性，避免模型利用图像或语言捷径获得高准确率。
- 引入多实体同框的视觉歧义样本（如多商品对比图），迫使模型执行显式的视觉-知识对齐，而非简单匹配单个显著实体。
- 评估指标不能仅依赖端到端答案匹配，需设计中间过程验证（如检索证据、推理步骤）来衡量真实推理能力，模仿“审计-修复”流程。
- 构建知识增强推荐或Agent时，用受控的困难样本集进行诊断测试，发现模型在通道、推理上的薄弱环节。
面向可问责 LLM 法官评估的人机协同金块标注
🧭 人机协同评估 · 锚定偏差消除
University of New Hampshire
提出人定义信息金块、LLM 匹配系统输出的分工，消除评估锚定偏差并保持人类监督
📌 工作参考价值（4 点）
- 构建领域信息点库（Nugget Bank）：在电商搜索、推荐或Agent评估中，先由业务专家定义每条查询/任务应覆盖的关键信息点（如商品属性、政策限制），LLM自动匹配输出是否覆盖这些点，实现低成本可复用的自动评分。
- 消解锚定偏差的标注流程：通常人工评估时若先看到机器输出，容易盲目同意（橡皮图章）。借鉴本文，人工先独立标注信息需求（金块），之后再看系统输出或让LLM做匹配，保护人类判断独立性。
- 高方差任务的人机分工：推荐解释、Agent决策理由等开放式输出，人类直接打分一致性低。改用“金块”原子化评估维度，让LLM承担细粒度匹配，人类只需定义标准，提升评估稳定性。
- 自动评分结合人工监督：金块库经专家审核后，可持久化用于线上评估，结合自动匹配形成半自动评估流水线，兼顾问责与效率。
面向原生Agent内存系统的系统性评估与设计
🧭 Agent 内存系统体系化评估与设计
Shanghai Jiao Tong University · Tsinghua University · MemTensor (Shanghai) Technology Co., Ltd
从数据管理视角分解Agent内存为四模块，量化权衡并揭示局部维护成本效益最优
📌 工作参考价值（4 点）
- 模块化设计：将Agent内存解耦为表示/存储、提取、检索/路由、维护，便于针对业务瓶颈选型，例如在搜索推荐Agent中，可单独优化检索精度与动态更新。
- 局部维护优于全局重组：在用户画像或对话状态频繁更新的场景下，采用增量式维护（如局部索引更新）比全量重建内存成本更低，适合线上实时系统。
- 成本-性能权衡：通过消融实验量化了表示保真度、检索精度、更新正确性等，为资源受限的推荐Agent提供了明确的架构取舍依据。
- 评估体系：超越端到端指标，关注内存子系统自身的鲁棒性与稳定性，可用于指导自研Agent中上下文记忆模块的离线评测。
PlanBench-XL：大规模工具生态中LLM Agent长期规划评估基准
🧭 Agent 长期规划评估 · 大规模工具检索
University of Illinois Urbana-Champaign
在1665个工具的零售任务基准上，揭示LLM Agent在检索受限与动态阻塞下长期规划能力的严重退化
📌 工作参考价值（4 点）
- 电商Agent常需在大量API/工具中选择与组合，本基准中的迭代式工具检索-调用-发现子目标范式可直接用于设计推荐/搜索Agent的规划流程，尤其需要将工具描述检索与规划解耦，避免一次性暴露全量工具。
- 阻塞机制模拟了真实服务不可用、返回异常或误导性工具，建议在Agent开发中注入工具调用异常处理与自适应模块，如动态替换失败工具、延长尝试路径，并显式标记错误信号以降低恢复难度。
- 实验发现Agent在缺乏明确错误信号时极易崩溃，值得在业务Agent中强制要求工具返回标准化状态码与可读错误信息，并训练模型利用这些信号重规划。
- 该基准的“长期任务→子目标推断→中间证据收集”闭环，为电商场景中多步推荐（如先查用户画像→再查商品库存→组合优惠规则→生成推荐）提供了可测试的评价范式，可参照构建内部鲁棒性测试集。
自适应不确定性感知的LLM裁判审计精炼框架
🧭 LLM-as-a-Judge 审计与人类一致性校准
Georgia State University · Michigan State University · Concordia University · University of Manitoba
在有限人工验证下，迭代学习人类一致性信号并优先审查不确定比较，提升LLM评判可靠性
📌 工作参考价值（3 点）
- 当用LLM评判器离线评估搜索推荐系统的生成式内容（如推荐理由、对话推荐）时，可借鉴AURA的不确定性感知主动学习机制：优先将LLM低置信度的成对比较送人工审核，少量标注即可显著校准评判器偏见，降低大规模人工评估成本。
- 将“信任度”显式建模为隐变量并迭代更新的思路可以迁移到业务中：例如在推荐系统的A/B实验解读中，LLM对实验报告的分析结论可能因数据分布偏移而不稳定，通过收集少量人工验证反馈迭代修正信任权重。
- 提出的可靠证据传播策略可启发在多轮对话评估或序列推荐评估中，如何利用已确认的高质量判断来推断相邻未标注样本，从而提高评估效率。
DailyReport：日常搜索任务上评估搜索代理的开放式基准
🧭 Agent 评估基准 · 细粒度与可解释评估
University of Science and Technology of China · Meituan
构造包含150个日常搜索任务与3546条细粒度评分标准的基准，提供可解释的多维评估，揭示现有搜索代理普遍未达用户预期
📌 工作参考价值（4 点）
- 任务分解与级联评分标准：借鉴其子任务分解和级联 rubric 设计，可在电商搜索/推荐代理评估中实现细粒度能力诊断（如商品推荐的准确性、解释质量、多源信息融合能力）。
- 用户中心聚合分数：提出的用户偏好分数可作为离线代理指标，近似真实用户满意度，用于 Agent 的迭代优化或线上 A/B 测试前的快速筛选。
- 17 个系统对比揭示的短板：时效性、多源合成等维度的普遍缺陷表明，在构建电商搜索代理时需特别强化实时信息的抓取与融合机制。
- 数据集与任务构造思路：可从真实用户讨论中挖掘任务，构建贴合电商场景（如比价、商品咨询）的评估集，复现其评估管线。
LLM会泄露训练数据但这是它们的意愿吗？倾向感知的记忆评估
🧭 LLM记忆评估·倾向性度量
University of Southern Denmark
提出倾向性感知框架，区分能力与倾向，发现LLM在普通使用下很少主动泄露训练数据。
📌 工作参考价值（4 点）
- 区分能力与倾向性：评估推荐/Agent系统中生成模型的数据泄露风险时，不应仅依赖前缀攻击等对抗性方法，需引入倾向性度量，模拟真实用户查询场景，避免高估风险。
- 轻量级溯源管道：SimpleTrace 利用 infini-gram 快速回溯生成文本至训练语料，可复用于电商搜索或推荐文案的版权/隐私审核，实现 verbatim/near-verbatim 检测。
- 持续预训练降低记忆：DFM Decoder 表明，用新数据持续训练可降低对旧数据的记忆，对于需要定期更新且关注隐私的推荐模型，该结论支持数据滚动训练策略。
- 双维度审计：在部署生成式推荐前，应同时报告最坏可提取率与普通倾向性，为合规和风险控制提供更全面视图。
Skill-RM：将异构评估标准统一为 Agent 技能的奖励模型
🧭 统一异构评估标准的 Agent 技能式奖励建模 ★ 深度解读
Alibaba · Sun Yat-sen University · The Chinese University of Hong Kong · Peking University · ETH Zürich
将奖励建模重构为可复用的 Reward-Evaluation 技能，通过过程化资源编排统一异构评估标准
📌 工作参考价值（4 点）
- 技能化评估架构：将评估逻辑封装为可复用技能（SKILL.md + 资源银行），适用于电商推荐中多维度打分（相关性、多样性、合规等）的统一编排，避免每次评估都从零开始构建提示。
- 动态资源选择与证据链：根据评估场景（如新品冷启动、大促活动）动态启用不同验证器（销量预测、内容审核、AB测试结果），使评估过程自适应且可追溯，可用于推荐理由审核或 A/B 分析。
- 可解释的奖励信号：结构化证据字段（criterion-level evidence）使得最终得分可逐项追踪，在 Agent 多智体协作中可将“为什么判为不合格”的推理过程暴露给下游模块，提升系统透明度。
- 工程实现借鉴：技能包以文件系统形式组织（SKILL.md + 脚本/规则/验证器），可轻松集成到现有 Agent 框架（如 LangChain、AutoGen）中，实现评估流程的模块化、版本管理和渐进式披露（progressive disclosure）。
将评判逻辑代码化：通过程序蒸馏实现可扩展评估
🧭 评估 · 程序蒸馏
University of Wisconsin-Madison
将LLM评判逻辑蒸馏为可解释的程序委员会，实现低成本、透明评估，匹配13B模型性能，并产生廉价奖励信号
📌 工作参考价值（4 点）
- 在推荐系统的离线评估或奖励信号生成中，可借鉴程序蒸馏思路：用少量 LLM 标注数据蒸馏出可解释的程序化评判器，替代昂贵 API，大幅降低标注成本（如 reward model 训练）。
- 程序委员会聚合和置信度回退路由可迁移到多模型融合场景：多个简单规则/模型组成委员会，低置信度样本自动升级至复杂模型，平衡成本与质量。
- 程序化评判透明可编辑，适合电商推荐中需要业务解释性的场景：评估标准（如“推荐理由是否吸引点击”）可直接编码为规则，方便运营调整。
- 用于 reward model 蒸馏时，程序标签成本仅为专有 LLM 的 1/100，且性能更优，可为推荐系统的生成式奖励训练提供高效方案。
模型何时该改变主意？大语言模型的情景信念管理
🧭 Agent 多轮交互中的信念状态管理 ★ 深度解读
Zhejiang University · HomologyAI
提出情景信念管理（CBM）与BeliefTrack基准，诊断并改善LLM在多轮交互中维持证据对齐信念的能力
📌 工作参考价值（4 点）
- 在多轮对话推荐或交互Agent中，可引入信念状态追踪机制，明确区分有效证据与无关噪声，避免模型因用户闲聊或情绪化内容而改变购物意图或推荐结果。
- 使用基于Jaccard相似度的密集奖励替代稀疏匹配，能提供更平滑的优化信号，适用于微调需要维持动态用户偏好集的推荐对话策略。
- 借鉴BeliefTrack的封闭世界–符号验证设计，构建推荐场景的离线诊断集：定义有限商品池作为信念空间，设计多轮对话模板精确测试模型是否因干扰信息产生非预期推荐变化。
- 表征操控方法表明，从RL训练中提取的隐藏层方向可以无参数地提升基础模型的多轮一致性，为在资源受限时快速改善现有多轮Agent提供了轻量方案。
同一问题，不同来源，不同答案：审计医疗多源RAG中的源依赖性
🧭 多源RAG评估 · 源依赖性审计
Carnegie Mellon University
将RAG评估从单答案正确性转向源间关系审计，揭示多源异质性被严重低估
📌 工作参考价值（4 点）
- 多源RAG审计框架可直接迁移至电商问答：当知识库包含不同商家政策、商品描述时，检测答案源依赖性，避免单一来源给出误导性高置信回复。
- HERO-QA层次化检索和结构化输出judge的设计可复用于多源知识库冲突检测，在电商产品推荐解释、政策问答中自动标注答案一致/矛盾关系。
- 5标签源间关系分类法（一致/互补/部分重叠/矛盾等）适合作为Agent或推荐系统多路召回融合的后处理标准，用于冲突消解或多角度信息呈现。
- 启示：更好的检索会暴露更多分歧，业务中盲目提升召回而不审计源依赖性可能放大风险，需建立持续监控体系。
语义ID分词器对比在生成式推荐中有多可靠？
🧭 生成式推荐 · 语义ID碰撞与公平评估 ★ 深度解读
University of Otago · University of New South Wales
揭示语义ID碰撞导致评测指标虚高，提出碰撞修正评估和最小代价零碰撞重分配，促进公平对比。
📌 工作参考价值（4 点）
- 评估生成式推荐模型时必须进行碰撞修正：标准 Hit@K 等指标基于 SID 序列匹配，当多个物品共享同一 SID 时会被高估，实际线上效果可能严重低于离线指标。建议使用 ItemHit@K 或 ItemNDCG@K，按碰撞组大小均分得分，避免误判。
- 零碰撞重分配提供轻量级公平对比基线：ZCR 只改最后一层码字，通过匈牙利算法最小化重分配代价，可在不改变前缀结构的前提下消除碰撞。对于电商中商品标题高度雷同（如不同规格的同款商品）的场景，该方法可低成本生成唯一 ID，适合离线评测和线上哈希索引。
- 纯语义分词容易撞车，建议融合协同信号：RK-Means 等纯基于文本 embedding 的分词器碰撞率高，尤其是 Yelp 这种商户名称重复多的场景。简单的前融合（PPMI+SVD 协同向量 concat 后 PCA）就能大幅降低碰撞、提升 ItemHit@10（Yelp 上+63%）。在实际推荐系统中，可将协同信号与语义表征一起量化，降低同款商品误合并风险。
- 最小代价重分配优于贪心策略：ZCR 与 MQL4GRec 的贪心最近码分配相比，总重分配代价降低 8–24%，说明在强制去重时应全局优化，避免局部最近邻带来的额外量化误差。对于需要在推理时实时查找物品的场景，更小的码本改动意味着更少的索引重建成本。
OpenSkillEval：自动审计 LLM Agent 开源技能生态
🧭 Agent 技能生态审计与评估 ★ 深度解读
Singapore Management University · Fudan University · JD
提出动态任务生成与轨迹‑产出联合评测框架，揭示技能可用≠有效使用，且收益强依赖模型与设计先验
📌 工作参考价值（4 点）
- 技能不一定带来提升，选型前需实测：许多社区高分技能在实际任务中并未超越无技能基线，且会增加 3‑5 倍 token 开销。在电商 Agent 中引入生成式推荐或工作流技能前，应先在自身任务上做成本‑性能对比。
- 设计先验比流程约束更重要：对视觉类输出（商品图、海报、详情页），技能内嵌的模板、参考代码等设计资产能有效拉高低能力模型的下限，而强约束（大量 MUST/NEVER）常导致多样性下降。可借鉴“资产优先”思路构建内部技能库。
- 推理密集型任务需提供分析框架：当前报表、数据洞察类技能因缺乏假设检验、对比分析等分析框架，增益有限。若用 Agent 做评论分析、销量归因，技能应嵌入因果推断步骤或统计检验模板，而非仅提供工具链。
- 动态评测比静态基准更贴近业务：论文自动从真实网页、数据集反向生成任务实例，保持用例与用户需求同步。电商场景可类似地利用商品链接、Campaign 素材自动构建 Agent 评测集，持续跟踪能力变化。
感知还是偏见：多模态大模型能否超越人格第一印象？
🧭 多模态大模型人格推理评估
The University of Tokyo · Shanda AI Research Tokyo · Dalian University of Technology
发现MLLM人格评分准确率与证据接地率严重脱节，51%正确评分非基于证据，提出接地人格推理基准揭示偏见差距。
📌 工作参考价值（4 点）
- 借鉴接地评估范式：在推荐或Agent用户建模中，不仅要评估预测准确率，还应强制模型提供行为证据，检查预测是否基于真实线索而非表面统计相关，避免模型学到虚假关联。
- 多智能体+人工验证数据构建：本文使用多智能体管道生成带时间戳行为观察和证据分析的数据集，可复用于电商评论分析或Agent行为理解的训练数据构建，确保证据对齐。
- 失败模式诊断指标：偏见率、虚构率、整合失败率等指标可直接迁移到推荐解释或Agent决策可解释性评估中，监控模型是否在“猜对答案却用错理由”，提升系统可信度。
- 接地型推理链设计：评分→推理→接地的链条可嵌入推荐理由生成或Agent的决策解释模块，要求模型关联具体行为证据，缓解幻觉和刻板印象。
MemConflict：在记忆冲突下评估长期记忆系统的诊断框架
🧭 长期记忆评估 · 记忆冲突诊断 ★ 深度解读
Renmin University of China · Shanghai University of Finance and Economics · MemTensor (Shanghai) Technology
提出记忆冲突诊断框架，评估系统在动态、静态、条件冲突下检索与排序有效记忆的能力
📌 工作参考价值（4 点）
- 在推荐/对话Agent的用户画像管理中，不能仅看最终回答准确率，需要白盒检查记忆检索与排序，确保模型使用了正确的用户信息。
- 借鉴MemConflict的冲突分类：对用户偏好变化（动态）、矛盾信息（静态）、条件性偏好（条件）分别设计记忆更新与查询策略，避免因冲突导致错误推荐。
- 通过注入语义相似的干扰记忆（如其他用户的相似信息）测试记忆系统的鲁棒性，可以迁移到电商推荐中模拟竞争商品描述或相似用户画像的干扰。
- 工程实现上可采用"冲突感知"排名机制：对检索到的记忆候选进行时间有效性、事实一致性、上下文适用性的打分，提升长期用户建模的可靠性。
TOBench：面向真实工作流的全模态工具使用基准与闭环验证
🧭 全模态工具使用评估 · 闭环验证 ★ 深度解读
Nanjing University · Huazhong University of Science and Technology · Southwest Jiaotong University · The Chinese University of Hong Kong
提出全模态工具使用基准TOBench，通过闭环验证评估 agent 在真实专业任务中的表现
📌 工作参考价值（4 点）
- 在电商智能客服或内容生成 Agent 中引入闭环验证：生成回复或创意后自动渲染/解析并检查是否满足业务规则（格式、品牌一致性、价格合规），失败则触发修正循环，可大幅提升终态交付质量。
- 采用 MCP 统一工具接口集成商品搜索、订单查询、价格计算等，降低多工具编排成本；同时设计任务特定的 grounded verifier，通过代码检查 + VLM 判断 + 工具结果重查，实现自动化质量校验。
- 对于生成式推荐产出的图文素材，可借鉴多模态工件审查方案：对生成的文案配图进行视觉布局审核、合规性检测，利用规则与 VLM 协同打分，形成可量化的离线评估流水线。
- 从错误分析中吸取教训：工具调用中参数幻觉和缺失自检是主要失败点，实际系统应强化参数校验、提供更结构化的工具反馈，并强制 Agent 在终态前执行至少一次视觉/内容核查（如渲染 PPT 后截图对比），而非仅检查元数据。
AI Agent 的整体评估与失败诊断框架
🧭 Eval ★ 深度解读
Deepchecks
结合自顶向下与自底向上的跨度级评估，在 TRAIL 基准上实现最优错误定位与分类，证明评估方法论是瓶颈而非模型能力
从附和式共识到多元修复：AI对齐为何必须暴露分歧
🧭 LLM ★ 深度解读
University of Oxford
RLHF模型在对话中因奖励建模而退出分歧，提出PRS指标衡量基于原则的修正，揭露前沿模型高分低修
从文本到语音：可复现且可验证的工具调用 LLM 智能体评估框架
🧭 Eval ★ 深度解读
Dialpad Inc.
提出将文本工具调用基准转化为受控音频评估的框架，保留原始标注，实现配对文本-音频对比，发现语音性能损失高度依赖模型与任务
EntityBench：面向实体一致性的长距离多镜头视频生成基准
🧭 多镜头视频生成 · 实体一致性评估
ByteDance · Rice University
提出多镜头视频实体一致性基准 EntityBench 及记忆增强方法 EntityMem，显著提升跨镜头实体保真度
📌 工作参考价值（4 点）
- 实体级一致性评估框架可迁移至商品图像/视频生成：拆解为属性、类别、外观等细粒度维度，配合 fidelity gate 过滤不合格生成再评分，避免低质量样本干扰评估。
- 显式实体记忆库（pre-computed visual references）类似用户长期偏好向量存储，在生成式推荐中可维护商品或用户画像记忆，用于跨会话一致性生成（如个性化商品描述图的连贯性）。
- 按实体间隔距离划分难度等级的思路适用于推荐系统长期行为一致性测试，例如构建用户跨 session 行为与兴趣保持的评测集。
- 三支柱评估（片内质量、指令对齐、跨片一致性）可用于拆解推荐多阶段输出质量，分别优化即时点击、上下文连贯、跨 session 兴趣稳定。
Grep 是否就已足够？代理框架如何重塑代理式搜索
🧭 Agent ★ 深度解读
PricewaterhouseCoopers
系统实验揭示：检索策略（grep vs 向量）的效果依赖于代理框架与工具输出方式，内联 grep 在对话记忆任务中整体更强
对 ReDial 数据集上对话推荐系统的标准化重新评估
🧭 RecSys ★ 深度解读
University of Stavanger
标准化重现 7 种 CRS 发现 R@1 极脆弱，近半性能来自重复捷径，LLM 骨干比架构创新影响更大
MemEye：以视觉为中心的多模态智能体记忆评估框架
🧭 Agent
从视觉证据粒度和推理方式两维评估多模态记忆，揭示现有架构在细节保留与状态变化推理上的缺陷
面向算法教学意图感知的检索增强辅导系统
🧭 RAG ★ 深度解读
North Carolina State University · University of Pittsburgh · University of California, Berkeley · Aalto University
结合多模态检索与苏格拉底式反馈，为算法追踪与问题求解提供课程对齐的AI辅导
面向推荐模拟的任务感知自动化用户画像生成
🧭 RecSys ★ 深度解读
RMIT University
提出无需手动Schema的三阶段框架，自动生成任务对齐、鲁棒的用户画像，显著提升模拟行为对齐与泛化性
全模态语言模型提升：视觉去偏评估下的分阶段后训练
🧭 全模态模型训练优化与视觉去偏评估
通过视觉去偏基准OmniClean与三阶段后训练，3B全模态模型无需强教师即可匹敌30B模型
📌 工作参考价值（4 点）
- 消除评估中的模态泄漏：在电商多模态搜索或推荐评估中，检查图像是否单独能给出答案（如商品图直接暴露属性），构建去偏测试集，避免模型走视觉捷径，暴露真实跨模态理解能力。
- 三阶段后训练策略复用：先做模态平衡的SFT打底，再用RLVR统一提升跨模态对齐，最后利用自蒸馏（self-distillation）精调，这套流程可复用到多模态Agent或生成式推荐模型的微调中，逐步压榨小模型性能。
- 小模型无强教师自蒸馏：用模型自身生成高质量的"全模态查询 + 响应"对进行监督学习，无需更大教师模型，适合资源受限的电商场景（如端侧多模态助手），可降低推理成本。
- 审计现有基准以指导训练：电商中常有多模态评测集（如商品图文问答），可以先做只输入图像的探测，识别并剔除可纯视觉求解的样本，使训练反馈更干净，优化方向更明确。