HLL: Can Agents Cross Humanity's Last Line of Verification?
HLL：多模态智能体能否跨越人类验证的最后一道防线
🧭 多模态Agent · 验证边界与交互鲁棒性评估 ★ 深度解读
上海交通大学 · 山东大学 · 同济大学
构建CAPTCHA交互基准，分层评估多模态智能体在验证边界上的感知、动作与过程一致性。
📌 工作参考价值（4 点）
- 电商Agent评估应引入分层现实性压力（页面干扰、难度、动态验证），暴露定位与动作精度短板，而非仅看最终结果。
- 借鉴动态验证机制（轨迹连续性、目标中心一致性、重复错误检测），可在订单提交等工作流中确保Agent的操作过程合法，防止“猜对答案”式的成功。
- 失败模式分类（感知解码、目标定位、动作校准、状态跟踪）可直接用于诊断电商Agent在表单填写、按钮点击等场景中的具体瓶颈，指导模型迭代。
- 通过注入弹窗、广告等干扰元素进行压力测试，可提升Agent在真实杂乱电商网页上的抗干扰能力，类似HLL的干扰轴设计可复用到自建评估集。