CollabSim: A CSCW-Grounded Methodology for Investigating Collaborative Competence of LLM Agents through Controlled Multi-Agent Experiments
CollabSim：基于CSCW理论的多智能体协作能力受控评估框架
🧭 多智能体协作能力评估 · CSCW理论指导
Northeastern University · Microsoft
将CSCW协作需求引入LLM多智能体评估，通过受控实验分离条件、模型和设计的影响。
📌 工作参考价值（4 点）
- 评估多智能体系统不应只看任务完成度，需借鉴CSCW理论诊断协作能力（共同基础、任务理解对齐等），用于优化电商Agent间的协调机制。
- 可通过受控操纵通信带宽、角色不对称等条件，在模拟环境中快速发现协作瓶颈，避免直接上线后暴露问题。
- 框架支持行动级探测智能体内部状态，可复用到推荐对话Agent或供应链协作Agent的行为归因分析，帮助定位模型或设计缺陷。
- 揭示了智能体设计效应依赖任务类型，提示业务中应针对不同协作场景（如实时竞价、联合推理）定制角色与通信协议，而非通用设计。