VISTA: A Versatile Interactive User Simulation Toolkit for Agent Evaluation
VISTA：面向交互式智能体评估的混合用户仿真工具包
🧭 交互式智能体评估 · 混合用户仿真 ★ 深度解读
Columbia University · Arklex.ai
结合 UI 与 API 混合仿真并引入覆盖率、真实感等六项指标，更全面地暴露智能体故障
📌 工作参考价值（4 点）
- 混合仿真架构：在电商客服或对话式推荐 Agent 评估中，可借鉴 UI 交互与 Mock API 相结合的方式，用 API 可靠提供用户订单、账户等结构化信息，避免纯 UI 导航的噪声与误操作，同时更全面地触发 Agent 故障。
- 覆盖率指标用作自动质量信号：工具转移熵、工具分布熵、轨迹距离等指标无需人工标注就能衡量仿真多样性；实践中可用其持续监控仿真器是否能充分探索 Agent 能力边界，作为评估有效性的代理指标。
- 故障自动识别框架：LLM-as-Judge 从 helpfulness/coherence/relevance 等五维度评分后合并故障理由，可自动化地归类 false information、repetition 等典型错误，辅助 Agent 迭代优化。
- 真实感一致性的自动评测：用户画像、目标与领域知识一致性评测采用参考无的 LLM 判断，与人类评分正相关（ρ=0.60），可作为仿真质量快速反馈信号，无需昂贵人工评估即可调优仿真策略。