CRM-Agent-Bench: Benchmarking Tool-Using Agents in Stateful Enterprise Environments
CRM-Agent-Bench：企业有状态环境中工具型Agent评测基准
🧭 企业级Agent执行与合规评测
Salesforce, Inc.
用可执行合同严格评估多轮CRM任务中Agent的动作、状态与合规性，揭示说与做的差距
📌 工作参考价值（4 点）
- 构建内部Agent评测时，不要只看最终答案，可借鉴 executable contract 思路：将业务规则拆成对动作、参数、顺序、响应、目标状态、受保护状态的检查，合成严格成功条件，自动化回归。
- 在电商/推荐场景的Agent（如客服助手、营销文案生成、推荐解释）中，可定义受保护状态（如用户隐私字段、价格锁定、优惠券余额），确保Agent不会越权修改，直接复用其中的 protected state 检查。
- 评估指标必须包含 latency 和 cost，论文中领先系统虽然成功率接近，但成本和领域可靠性差异很大；业务落地前要做成本/稳定性分域分析，避免只按总体准确率选型。
- 给任务打能力标签（工具选择、多步推理、规则遵守等），用于快速定位失败模式，指导后续 prompt 优化、模型微调或工具设计。