EnvOS: Auditing Computer-Use Agents When the World Moves On : Phenomenon-Based Task Construction, Certification, and Evidence-Based Evaluation
EnvOS：审计动态变化环境下的计算机使用智能体——基于现象的任务构建、认证与证据评估
🧭 智能体动态环境可靠评估
QpiAI, Bangalore, India
提出 EnvOS 框架，在执行前认证环境变化、任务可解性和评分器，执行后基于存档证据复核判决，可靠评估动态环境中的计算机使用智能体
📌 工作参考价值（4 点）
- 在电商/广告的 Agent 评估中，主动构造「陈旧信息」场景：让价格、库存、政策等状态在任务中途被后台流程或其他 Agent 修改，检验模型是否在关键动作前重新读取源数据，避免仅靠静态测试集漏掉此类失败。
- 借鉴 EnvOS 的评估前置认证：上线 Agent 评估前，先验证环境变化是否按预期触发、任务在变化后是否仍可解、自动评分器是否能区分正确与错误轨迹，防止评估本身的 bug 干扰模型能力判断。
- 自动评分后增加独立的证据复核环节：从运行日志/截图等存档证据中，用与评分器解耦的代码二次确认判决，减少误判；在压测中发现简单日志检查漏检率高，需设计更严格的证据校验。
- 若业务中有可验证的业务规则（如订单状态流转、审批条件），可仿照 EnvOS 用种子生成环境并由审计后的自动验证器评分，为 Agent 提供可验证奖励，适合用于 RLVR 训练，优化会话策略或多步操作。