AgentWorld: Benchmarking Long-Horizon Collaboration of Multi-agent LLMs
AgentWorld:面向多智能体 LLM 长程协作的基准评估
🧭 多智能体长程协作评测基准
OpenAgents · Columbia University · University of Pennsylvania · Seoul National University · Penn State University
提出AgentWorld长程多智能体协作基准与CCE因果协作指标,最佳模型任务成功率仅52.0%
📌 工作参考价值(4 点)
- 多智能体业务链路(如营销活动生成、选品+文案+投放协作)不要只靠聊天历史维持长程计划;应引入显式共享计划/看板/JSON 状态,每轮或每阶段强制更新,否则 50+ 轮后计划会漂移。
- 评估智能体流水线时引入 CCE 式因果追踪:记录各 agent 的 action 及其依赖关系,区分对最终结果有因果贡献的步骤和“忙忙碌碌但无效”的动作;可用于优化 planner-retriever-ranker/推荐解释链路中的资源分配。
- 在角色非对称的多 agent 系统中,角色混淆是主要失败源;通过 role-specific system prompt、独立工具权限和结构化输出约束来减少越权/重复劳动。
- 长时任务需要 memory 管理:对共享状态做定期摘要或 checkpoint,并在关键节点触发 re-plan;否则 LLM 在长上下文/多轮中容易丢失早期目标。