ORCA-bench: How Ready Are Language Model Agents for Oncall?
ORCA-bench：LLM智能体在oncall根因分析中的准备度评估
🧭 Agent 根因分析基准评估
Cornell Tech · Traversal · Columbia University
在真实微服务系统中评估LLM Agent的根因分析能力，最佳准确率仅25.3%，暴露严重幻觉与代码依赖
📌 工作参考价值（4 点）
- 构建推荐系统智能运维Agent时，需警惕幻觉风险：即使最强模型在部分任务中也给出完全无关根因，可借鉴其幻觉率指标与人工评审机制
- 源端可观测性（指标、日志、追踪）完整性与代码访问权至关重要：移除源码访问会全面降低Agent表现，建议在推荐系统线上故障排查Agent中强制集成代码检索工具
- 任务难度分级方法可复用：根据报告特异性、检测延迟、并发故障等维度系统构造评测集，用于评估电商搜索推荐场景下的异常检测Agent
- LLM-as-judge与专家对齐（Cohen’s κ_w=0.90）的验证流程，可直接用于生产环境中Agent输出的自动化评估，减少人工审核成本