T1-Bench: Benchmarking Multi-Scenario Agents in Real-World Domains
T1-Bench：面向多域真实对话代理的工具调用高保真基准
🧭 多领域多轮工具调用Agent评估基准 ★ 深度解读
Capital One
构建覆盖25个领域、76个工具的自动评估基准，揭示LLM代理在多轮跨域场景下的工具调用短板与一致性挑战
📌 工作参考价值（4 点）
- 对电商客服Agent离线评估可借鉴双代理角色扮演：用户代理按策略生成自然对话，助理代理调用工具，自动生成轨迹并复用，大幅降低人工成本。
- 工具调用评估需分层：工具选择、参数提取、输出精确匹配三级，同时使用Pass@K/Pass^K衡量可靠性与一致性；尤其推荐Pass^K捕获单次成功但不可复现的模型。
- 多域切换时性能坍塌严重（4域以上几乎归零），提示实用系统必须强化上下文保持与状态追踪，可引入论文中的Memory Module缓存工具结果，避免重复调用。
- 工具数量是主要难度源之一（如Food & Dining 15工具），可考虑层次化工具选择或分阶段推理，先按意图聚类再在子域内调用，缓解动作空间爆炸。