rTaste: Do Research Agents Have Taste? Evaluating Early Stage Research Judgment
rTaste：研究智能体有品味吗？评估早期研究判断
🧭 LLM 研究智能体早期判断评估
University of Minnesota
用 415 个最小可行实验评估六款前沿模型的研究判断，发现智能体的实验排序未能显著优于简单基线
📌 工作参考价值（4 点）
- 在电商/广告/推荐业务中若用 Agent 做实验优先级排序或预算分配，不要默认其排序有价值：该研究发现 Agent 排序仅略优于随机，且未超越“选第一个写出实验”的基线。可先用简单规则或人工序作为对照，避免被 Agent 自信输出误导。
- 评估 Agent 的判断能力时，必须把所有候选实验都执行（包括排名最后的），再审计结果，否则会引入幸存者偏差。这篇论文的 harness 设计可复用：预注册通过阈值、执行全部 MVE、用独立模型审计 sound/value/novelty。
- 预测校准需要单独验证：文中 Agent 的通过率预测只略高于基础率，且不比只给论文+注册信息的新实例更准。业务中做 A/B 测试成功率预测或 query 表现预测时，应对比朴素基线，避免为了复杂 Agent 流程付出额外成本。
- 多 Agent 团队在这类判断任务上没有带来整体收益却增加成本。在推荐/搜索的 Agent 工作流中，若任务以排序和预测为主，先做单 Agent 基线，不要急于上多智能体协作。