Aurora: Unified Video Editing with a Tool-Using Agent
极光：使用工具增强代理的统一视频编辑
🧭 视频编辑 · Agent 工具增强 ★ 深度解读
University of Rochester · MIT-IBM Watson AI Lab · NVIDIA
提出Aurora框架，用工具增强的VLM代理解决视频编辑中用户请求欠指定问题，将缺失条件补全后送入统一视频扩散模型。
📌 工作参考价值（4 点）
- Agent 条件构建范式：将用户模糊请求（缺少参考图、掩码、明确指令）委托给工具增强的VLM代理，生成完整的条件元组（指令、任务类型、搜索词、掩码描述），下游生成模型只消费标准条件，该解耦模式可直接用于电商商品图生成、广告视频编辑，降低人工补全成本。
- 偏好对齐解决边界决策：使用DPO精细解决代理的边界案例（如误触发搜索、模糊掩码、约束丢失等），在推荐或Agent决策中可借鉴此方法，通过构建冲突对提升模型在相似但错误路径上的区分能力。
- 工具增强与统一条件接口：代理可调用网络搜索和分割工具，输出统一格式的参考图与掩码，屏蔽不同工具的内部差异，适合在Agent工作流中集成异构API，降低下游模型对工具强耦合。
- 设计评测维度：提出AgentEdit-Bench专门测量代理补全缺失条件的能力，评估指标包含实体匹配和身份保持，可启发我们为客服、推荐等场景构建需要主动补全信息的评测集。