Orchestra-o1: Omnimodal Agent Orchestration
Orchestra-o1：面向全模态智能体的编排框架
🧭 多智能体编排与训练 ★ 深度解读
CUHK · LIGHTSPEED · PKU · THU · Tongji University
提出支持文本/图像/音频/视频的全模态多智能体编排框架，通过模态感知任务分解与并行执行实现高效协作。
📌 工作参考价值（4 点）
- 多模态任务解耦：将感知（图像/音频/视频分析）与行动（搜索、代码执行）拆分为专业化子Agent，由主Agent统一调度，可迁移至电商商品理解场景（如同时处理商品图、详情视频、用户评论）。
- 依赖感知并行调度：对无依赖的子任务（例如提取图像地点和音频事件）并行执行，显著降低延迟。在推荐系统流水线中，可并行请求多模态编码服务或外部知识库，加快响应速度。
- 离线强化学习训练编排模型：DA-GRPO 利用专家轨迹和四维奖励（格式、动作、工具合理性、决策质量）离线训练，无需在线执行子Agent即可获得密集监督。适合在内部数据上低成本训练任务编排模型，避免线上试错开销。
- 能力匹配路由：将工具/模型选择形式化为能力向量匹配问题，可根据子任务难度动态分配不同规格的模型（如轻量模型做简单提取，强模型做复杂推理）。电商搜索/推荐中可借鉴同类思路，按请求复杂度路由到不同算力资源。