CUA-Universe: A Scalable and Dynamic Environment for Hybrid GUI+CLI Agents
CUA-Universe：面向混合 GUI+CLI 智能体的可扩展动态环境
🧭 混合 GUI+CLI 智能体训练环境
Shanghai Jiao Tong University · Zhejiang University
通过环境到数据管线将真实桌面软件转为混合 GUI+CLI 环境，训练 9B 智能体显著提升成功率与效率
📌 工作参考价值（4 点）
- 在电商后台自动化（商品上下架、批量改价、库存调整、报表生成）中，可借鉴混合 GUI+CLI 思路：让 Agent 同时具备页面视觉检查能力与命令行/脚本批量操作能力，避免纯 GUI 点击的低效和纯 CLI 脚本的脆弱。
- 环境到数据管线值得迁移：将内部业务系统封装为可复现 VM 并暴露 CLI 接口，基于可重用操作和种子文件自动合成不同难度的任务，持续产出训练轨迹，形成数据飞轮。
- Path-Steer 的引导式 rollout 与轨迹收割可作为后训练数据工程手段：在业务 Agent 中采集人工修正或规则约束下的高效动作序列，蒸馏到模型，使模型从低效 GUI 交互转向高效 GUI+CLI 编排。
- 评估不只盯成功率，同时关注步骤数和 token 消耗。业务上除任务完成率外，应把操作步数、API 调用成本纳入核心指标，优化 Agent 的长期效率与成本。