What Current AI Benchmarks Leave Unmeasured: Modality, Search, Citations, and Implications (for Safety Evaluations)
AI基准忽略的维度：访问模态、搜索与引用稳定性
🧭 LLM评估方法论与安全审计
University of Pennsylvania · Stony Brook University
揭示LLM评估仅用API单次运行忽略搜索和模态差异，会掩盖高达21%的输出不一致与8%准确率下降
📌 工作参考价值（4 点）
- 评估搜索推荐中LLM（如商品描述、推荐理由生成）时，不能只看单次API调用的准确率；应在不同访问界面（类似Chat UI vs API）和多次运行下衡量输出一致性，避免上线后行为漂移
- 引入RAG或搜索增强的推荐系统，必须量化搜索条件对模型行为的影响：搜索可能降低准确率或改变回答风格，需针对性设置安全兜底策略
- 关注模型的弃权行为（abstention）：在敏感推荐（如金融、医疗商品）中，明确定义模型何时应拒绝生成，避免错误推荐
- 若LLM输出引用外部来源，评估引用准确性和稳定性，防止不实信息扩散到商品详情或推荐理由中，引发用户投诉