OmniGUI: Benchmarking GUI Agents in Omni-Modal Smartphone Environments
OmniGUI：全模态智能手机 GUI 代理步骤级基准
🧭 GUI Agent 评估 · 全模态环境基准
XPeng Motors
首个在步骤级注入交错图像、音频与视频的全模态 GUI 代理基准，揭示当前模型在需要时序/听觉信号时性能大幅下降
📌 工作参考价值（4 点）
- 电商或推荐场景的智能助手/自动化测试 Agent 设计时，应纳入音频、短视频等多模态输入，不应仅依赖静态截图，可参考该基准的多模态依赖标注方式。
- 真实环境中的无关噪声会造成跨模态干扰，促使 Agent 性能下降，提示在部署中需加入模态过滤或噪声鲁棒策略，对语音购物、直播带货等场景有直接借鉴。
- 步骤级交错输入的设计对连续交互数据采集有工程参考价值，可以迁移到对话式推荐或客服 Agent 的训练数据构建中。
- 基准揭示了时序音频信号对动作决策的重要性，推荐系统在利用商品短视频、动态展示时，应考虑时序信息与用户操作时刻的对齐。