#Benchmarking

5 篇

On the Fundamental Limits of Prefill-Based Decoding Length Prediction

预填充解码长度预测的基本极限

🧭 LLM推理调度与基准协议

Xi'an Jiaotong University · Shandong University

揭示解码长度预测中的系统误差主导性，推导出所有基于预填充的方法必须遵守的统计界限

📌 工作参考价值（4 点）

在 LLM 生成式推荐或 Agent 对话系统中，解码长度预测可用于响应时间预估、超时设置与批量调度；可直接借鉴论文中的正态/CLT 模型对长度分布建模，用均值和方差快速估算尾部风险，无需部署复杂预测器。
评估任何解码长度预测模型时，必须固定模型版本、数据分布、采样参数（temperature/top-p/top-k），否则预测精度数字不可比；应同时报告相对误差指标，避免被绝对 MAE 误导。
若要在业务中优化推理资源或做容量规划，先训练一个简单 MLP 逼近理论界限，作为系统误差基线；若复杂模型（FiLM、MoE 等）无法显著超过该基线，则不需要引入额外复杂度，节省工程成本。
方差律 σ=αμ+b 可直接用于线上 SLA 估算：只需统计平均解码长度即可估算方差区间，辅助确定告警阈值、超时上限以及 GPU 并发调度策略。

LLM | 2026-10-29 | cs.CL | score 6/10

When Agents Fail: Model or Harness--Who's to Blame?

当 Agent 失败：归咎于模型还是执行框架？

🧭 Agent 执行框架评估与匹配

Shanghai Artificial Intelligence Laboratory

提出模型-执行框架匹配度评估框架，发现无单一最佳组合，OpenCode 跨模型最稳

📌 工作参考价值（4 点）

选型 Agent 执行框架时，不要只看最终任务分数，建议同时监控 VCR（有效完成率）和 Token Load，避免高分数掩盖高失败率或高 token 浪费。
不同模型适配不同 harness：内部构建 Agent 平台时，可以为每个主力模型分别评测 harness 的 Model-Harness Fit，而不是统一采用一个“最佳”框架。
在电商搜索/推荐 Agent 场景中，大量交互式工具调用和长上下文任务会放大模型-框架不匹配问题，可引入 Interaction Residuals 定位具体哪个组合在哪些步骤频繁失败。
Token Load 包含失败尝试，适合作为成本控制指标：当框架重试机制激进时，即使任务最终成功，也可能消耗数倍 token，影响线上性价比。

Agent | 2026-10-23 | cs.CL | score 7/10

LLM Agents Harness Evaluation Model-Harness Fit Token Efficiency Benchmarking

Generalization Is Stability, Not Accuracy: Multi-Axis Evaluation of LLMs

泛化是稳定性而非准确率：LLM 的多轴评估

🧭 LLM 泛化评估 · 稳定性度量

Technion – Israel Institute of Technology

提出 SAGO 框架，从生成一致性、内部激活、置信度与响应镜像等多轴度量 LLM 对同一输入变体的行为稳定性。

📌 工作参考价值（4 点）

业务中评估生成式推荐、Query 改写、Agent 决策时，不要只用单 prompt 准确率；应构造同一意图的多种表达（措辞、长度、格式、噪声），把输出一致性作为上线门槛。
借鉴 SAGO 多轴思想，将内部激活、置信度与生成结果分别监控：它们可能揭示独立失败模式，只盯最终输出会漏掉隐性漂移。
模型升级或微调后，用跨数据集稳定性排名代替单一 benchmark 排名；论文显示跨数据集变化会反转模型排名，单一评估容易误判。
将稳定性测试做成 CI 回归：对固定语义等价集定期跑，捕获 prompt 模板变更或 LoRA 微调带来的泛化退化。

Eval | 2026-09-30 | HF Daily | score 6/10

LLM Generalization Evaluation Stability Prompt Variations Benchmarking

MemTools: A Unified Research Framework for Interoperable Agent Memory

MemTools：面向智能体记忆互操作性的统一研究框架

🧭 Agent 记忆系统模块化框架

Institute of Automation, CAS · University of Chinese Academy of Sciences · Beijing Academy of Artificial Intelligence · Zhongguancun Institute of Artificial Intelligence

提出模块化、可互操作的智能体记忆框架，解耦生命周期与评估，支持异构记忆统一接口

📌 工作参考价值（4 点）

记忆组件模块化设计：将记忆写入、检索、压缩等生命周期阶段解耦，可灵活组装或替换，在电商推荐Agent中可快速试验不同记忆策略（如用户行为摘要、商品知识图谱记忆）而无需重构整个系统。
评估与数据正交分离：在构建购物助手记忆评测时，可复用其评估协议与数据集分离的做法，避免评测逻辑与特定数据捆绑，便于横向对比不同记忆模块在推荐任务上的效果。
异构记忆统一接口：支持符号、神经、多模态记忆协同，实际场景中可混合存储用户长期偏好（向量）、实时行为（符号）和商品图片特征（多模态），提升记忆的丰富性和检索灵活性。
工程化参考实现：该框架提供了标准化的数据契约和运行时接口，可直接借鉴其架构构建公司内部的Agent记忆实验平台，加速记忆增强推荐系统的开发和迭代。

Agent | 2026-07-23 | cs.CL | score 7/10

Agent Memory Interoperability Memory Lifecycle Modular Framework Heterogeneous Memory Benchmarking

UniRank: Benchmarking Ranking Models for Unified Sequential Modeling and Feature Interaction

UniRank：统一序列建模与特征交互的排序模型基准

🧭 统一排序模型基准测试 ★ 深度解读

Anhui University · University of Science and Technology of China · Tencent Inc.

首个面向 Token 化统一排序模型的开放基准，标准化多任务点式自回归评估并降低训练成本

📌 工作参考价值（4 点）

Tokenization 策略选择：Field 保留语义边界、Auto 学习全局交互、Chunk/Random 引入高熵分组表征，应根据特征场数量与交互需求选取；电商场景下 Auto 通常更稳，Chunk 在特征较多时可能带来多样性增益。
注意力激活函数：GeLU 和 SiLU 作为注意力 logits 激活在两个数据集上平均 AUC 提升最显著（KuaiRand +0.51, MerRec +0.38），优于传统 Softmax；Sigmoid 对点赞等稀疏任务有利，可针对不同目标 task 单独配置。
即插即用的 AttGate：在注意力后加一个可学习的 sigmoid 门控，是所有实验中唯一在两个数据集的所有任务上都有提升的组件（KuaiRand 平均 AUC +0.88, MerRec +0.99），可作为通用即插即用模块嵌入现有排序模型。
优化器与缩放定律：稠密参数优化器 AdamW 并非最优，LaProp、SOAP、Muon 在不同数据集上分别带来 0.6~1.9 个点的平均 AUC 提升；缩放时栈式模型提升 token 维度即可，层式模型需同时增加序列长度和深度，架构决定了有效扩展方向，不能只看 FLOPs。

Eval | 2026-07-22 | cs.IR | score 9/10

Ranking Models Sequential Modeling Feature Interaction Benchmarking Multi-Task Reproducibility