Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents
混合计算机使用：面向通用智体的程序化、语义与视觉统一接口
🧭 多通道接口的通用计算机使用 Agent
Microsoft Research · Fudan University · Tsinghua University
统一代码/CLI、无障碍语义AX与GUI视觉三通道，让智体灵活选择组合，在OSWorld 2.0上取得最高分
📌 工作参考价值（4 点）
- 电商/广告自动化 Agent 可直接借鉴多通道设计：对内部系统优先暴露 API/CLI 程序化通道，对前端页面提取 AX 语义树而非只给截图，减少 LLM 对像素的推理负担。
- 动作批量执行 + 紧凑 diff 观察：将多个可独立操作合并为 batch，返回状态变更前后的差异（AX diff），避免逐步骤截图和往返，显著降低长流程任务的成本与时延。
- 通道切换时引入 stale-state 防护：在 Agent 执行跨系统任务时，维护各通道状态版本并在切换前校验刷新，防止过期状态导致错误操作，对广告投放、订单处理等高风险场景尤其重要。
- 为 LLM 提供通道选择 skill：编写接口选择手册，让模型根据任务类型（数据查询走程序化、页面操作走 AX、复杂视觉走 GUI）路由到最有效通道，减少自由探索成本。