HLL: Can Agents Cross Humanity's Last Line of Verification?
HLL：多模态智能体能否跨越人类验证的最后一道防线
🧭 多模态Agent · 验证边界与交互鲁棒性评估
上海交通大学 · 山东大学 · 同济大学
构建CAPTCHA交互基准，分层评估多模态智能体在验证边界上的感知、动作与过程一致性。
📌 工作参考价值
- 电商Agent评估应引入分层现实性压力（页面干扰、难度、动态验证），暴露定位与动作精度短板，而非仅看最终结果。
- 借鉴动态验证机制（轨迹连续性、目标中心一致性、重复错误检测），可在订单提交等工作流中确保Agent的操作过程合法，防止“猜对答案”式的成功。
- 失败模式分类（感知解码、目标定位、动作校准、状态跟踪）可直接用于诊断电商Agent在表单填写、按钮点击等场景中的具体瓶颈，指导模型迭代。
- 通过注入弹窗、广告等干扰元素进行压力测试，可提升Agent在真实杂乱电商网页上的抗干扰能力，类似HLL的干扰轴设计可复用到自建评估集。
动机
多模态智能体正被用于替用户操作界面，但真实服务常在账户创建、内容访问等环节设置 CAPTCHA 等人机验证，能否通过是衡量其替代可靠性的“最后一英里”。现有基准要么忽略验证步骤，要么只关心识别准确率，缺失端到端交互与过程合法性的评估。为此，论文提出 HLL 基准，将 CAPTCHA 求解视为一个包含感知、定位、动作执行和交互一致性的完整验证瓶颈。
方法关键点
- 构建 10 个 CAPTCHA 任务家族，覆盖文本转录、图标排序、滑块对齐、拼图对齐、逻辑算术等，并归类为识别选择、空间对齐、状态恢复、推理四大能力。
- 引入三个正交的现实性轴：①任务难度（easy/normal/hard，控制靶标歧义或对齐精度）；②网页干扰（干净/上下文/欺骗性，注入无关或误导性页面元素）；③动态交互验证，通过检查拖拽连续性、点击空间模板、重复错误循环、中间状态合法性等规则，要求答案必须由有效的操作轨迹支撑，而非仅最终语义正确。
- 评估 8 个前沿 GUI 多模态智能体（GPT-5.4、Gemini-3.1-Pro、Claude-Opus-4.6 等），记录其交互遥测数据，并基于任务家族特定的动态验证器判定成功。
关键结果
- 干净静态设定下，最强模型 Claude-Opus-4.6 平均成功率 90%，但跨任务表现悬殊（文本 100%，图标排序 55.5%），表明 Capability 并非单一技能。
- 加入网页干扰后，各模型普降：Claude-Opus-4.6 降至 79.2%，Gro-4 降至 48.8%，较弱模型在非文本任务上近乎归零。
- 困难变体进一步放大差距：Claude-Opus-4.6 维持在 62%，但多数模型跌落至个位数。
- 动态验证下性能大幅掉落：Claude-Opus-4.6 从静态 88% 跌至 23.8%，Gemini-3.1-Pro 从 71.3% 跌至 45.0%，揭示模型虽能猜出答案，但交互过程不合法，尤其在滑块、拼图等连续拖拽任务中失败率高。
- 失败模式集中在定位偏差、动作校准不足、状态跟踪缺失和重复错误循环，而非单纯的视觉识别。
最值得记住的一句话
动态交互验证证明，能够给出正确答案不等于能以人类可接受的方式通过验证；过程一致性是智能体替代人类操作界面时必须跨越的壁垒。