OfficeTown：面向专业组织的生成式模拟与智能体演进框架
🧭 生成式组织模拟 · 多智能体协作评估与训练
Wuhan University · University of California San Diego · South China University of Technology · Cornell University · Microsoft Research Asia
用生成式组织模拟持续产生专业任务、上下文与反馈，构建 406 任务基准并训练提升 Qwen3.5-9B
📌 工作参考价值（4 点）
- 用自然语言组织描述自动生成任务流、工件、权限和反馈，可迁移到电商运营/广告投放/客服等场景，低成本构建多智能体训练与评估环境。
- Principal–assistant 架构值得借鉴：主 Agent 拆解需求、委派边界子任务并审查交付物，子 Agent 只可见权限内上下文，适合搜索推荐链路中把意图理解、召回、排序、文案生成拆给不同子 Agent。
- 持久化 artifacts、decisions、unresolved matters 相当于跨任务长期记忆，可提升多轮推荐/搜索 Agent 对用户历史、活动状态和未决问题的利用效率。
- 模拟数据 + SFT/on-policy distillation 能有效提升外部专业工作基准，业务上可批量生成带评审反馈的搜索推荐 Agent 轨迹，蒸馏到中小模型，降低线上成本。
MiniCorp：AI Agent 公司模拟器与纵向反事实数据生成
🧭 多智能体企业模拟与数据生成
Microsoft · University of Illinois Urbana-Champaign · Princeton University · Northeastern University · UCLA
构建电商公司多智能体模拟器，生成纵向反事实企业数据，用于训练和评估能自主运营的 Agent
📌 工作参考价值（4 点）
- 构建“模拟器+真实业务反馈”沙盒：在电商场景中，可建立市场模拟器生成反事实数据，用于训练决策 Agent，避免直接在生产环境试错。
- 使用 checkpointing 机制回放同一情境的不同决策，对比长期效果（如广告预算、定价策略），弥补历史日志无对照组的缺陷。
- 显式注入长期战略目标（如持续探索弱回报广告）可以防止 Agent 短期优化，对电商中需要平衡探索与变现的场景（如新品冷启动）有直接借鉴意义。
- 按角色划分多 Agent 并记录通信过程：内部世界按市场、财务等角色分工，记录讨论内容，便于审计和策略优化，也可作为 prompt 设计参考。
NeutronGym：面向 LLM Agent 的物理分级中子仪器设计环境
🧭 LLM Agent 科学仪器设计与 RL 训练环境 ★ 深度解读
Oak Ridge National Laboratory
首个可执行中子仪器设计环境，用无 LLM 评判的物理分级奖励训练 8B 模型超越未训练 32B
📌 工作参考价值（4 点）
- 奖励塑形：把最终业务指标拆成可验证的中间层（输入合法→系统可执行→返回结构完整→业务指标达标），每层给部分信用。文中去掉部分信用导致 pass rate 从 76.7% 暴跌至 16.7%，说明密集课程式奖励是 RL 稳定训练的关键，推荐 Agent 做 RL 时不要只用稀疏 GMV/转化作奖励。
- 防 reward hacking 的 no-model 基线：上线前用固定答案、读题规则、跨实例迁移三种 probe 检测任务是否可被捷径破解。对应电商场景应先跑规则基线（热门、复制 prompt 限制、历史均值），避免把“背答案”当成模型能力。
- 工具调用前置校验：22 个工具在调用时即校验组件与参数合法性，把编译错误前置到工具层。Agent 链路中应对每个工具输入做 schema 校验并返回最近合法选项，减少多轮失败和无效探索。
- 不要只用成功样本做 SFT：克隆自己成功轨迹的模仿学习在文中让 pass rate 从 40.3% 跌到 31.3%，而 on-policy RL 训练包含失败轨迹效果更好。推荐 Agent 微调时应保留失败探索轨迹做 RL，避免只喂高转化样本导致分布偏移。
Argo-Bench：评估企业级工作流中的数据智能体
🧭 数据智能体评估 · 企业级数据工作流
TextQL
构建企业级数据智能体评估基准，模拟纽约外卖平台，要求跨235表分析并采取行动，最强模型均分仅59.5
📌 工作参考价值（4 点）
- 评估 Agent 时不要只看 SQL 正确率，可以引入“动作后果评分”：在电商/推荐场景中构造仿真环境（如用户响应模型、市场模拟器）对调价、选品、发券等决策进行闭环评估
- 复杂 schema 导航是实际瓶颈：可构建内部数据仓库查询基准，覆盖多表 join 和业务语义，并用可执行参考解保证可解性，避免错误答案误导模型评估
- 最强模型在长链路、多表、需行动的任务上平均分仍低，说明工程上需要为 Agent 增加 schema 检索、知识图谱、规划模块或领域微调，而非仅依赖 prompt
- 参考解设计可迁移：为每个任务提供端到端可执行方案，便于诊断 Agent 失败在导航、SQL、分析还是行动阶段，支撑针对性优化
MerchantBench：电商运营中LLM智能体长期连贯性基准
🧭 Agent 长期连贯性评估
Alibaba Group · State Key Lab of CAD&CG, Zhejiang University · School of Software Technology, Zhejiang University · School of Software and Microelectronics, Peking University · College of Computer Science and Artificial Intelligence, Fudan University
提出首个电商卖家长期运营模拟基准，评估LLM智能体在365天中维持连贯决策的能力，揭示LLM远逊于人类
📌 工作参考价值（4 点）
- 长期模拟环境构建：可借鉴其365天订单级模拟设定，将“供应商事件-采购-上架-定价-订单-现金流”时序闭环用于训练或评估搜推广场景中的Agent，尤其适合需要多步决策且反馈延迟的任务（如选品、动态定价）。
- 决策依赖与现金流的约束设计：采购、定价、现金流之间形成硬性依赖，当前行为会影响未来选择空间，这对设计推荐Agent的“预算受限序列决策”有很大启发，例如广告竞价中的预算分配与出价调整。
- 混合延迟反馈的处理框架：MerchantBench区分上游即时事件与下游延迟订单结果，这种双通道反馈模式可复用于搜索推荐系统，帮助Agent学会在延迟转化数据下的自适应策略。
- 评估指标与人类对照：用最终净资产等累计指标衡量长期连贯性，并引入人类基线，这种做法可迁移到业务Agent评测中，避免仅看短期收益忽视长期效果，从而设计更鲁棒的线上评估体系。
能源社会：在生存压力下研究LLM智能体合作的模拟环境
🧭 多智能体生存压力下的合作与竞争模拟
University of Southern Denmark · University of Turin
构建极小生存经济模拟环境，揭示推理成本与模型规模挂钩时合作激励如何改变多智能体行为
📌 工作参考价值（4 点）
- 可借鉴'能量消耗与模型规模挂钩'的成本约束设计，用于多Agent推荐系统中的资源分配和预算控制。
- 允许Agent间相互推荐行动（行动建议）能促进协调和任务选择，可应用于分布式推荐Agent的协作机制。
- 记忆模块帮助Agent从历史结果校准风险，可复用到Agent的长期记忆设计，提升决策稳健性。
- 合作激励（如能量捐赠）改变行为模式，可启发在广告竞价或搜索Agent中设计激励对齐策略，避免纯粹自利导致的系统崩溃。
CollabSim：基于CSCW理论的多智能体协作能力受控评估框架
🧭 多智能体协作能力评估 · CSCW理论指导
Northeastern University · Microsoft
将CSCW协作需求引入LLM多智能体评估，通过受控实验分离条件、模型和设计的影响。
📌 工作参考价值（4 点）
- 评估多智能体系统不应只看任务完成度，需借鉴CSCW理论诊断协作能力（共同基础、任务理解对齐等），用于优化电商Agent间的协调机制。
- 可通过受控操纵通信带宽、角色不对称等条件，在模拟环境中快速发现协作瓶颈，避免直接上线后暴露问题。
- 框架支持行动级探测智能体内部状态，可复用到推荐对话Agent或供应链协作Agent的行为归因分析，帮助定位模型或设计缺陷。
- 揭示了智能体设计效应依赖任务类型，提示业务中应针对不同协作场景（如实时竞价、联合推理）定制角色与通信协议，而非通用设计。