Unified Agent: Managing Interactions across Devices
统一智能体：跨设备交互中的紧凑状态管理
🧭 跨设备智能体状态管理
University of California, San Diego
提出携带紧凑跨设备状态的统一智能体，利用交互证据解决设备未指定的请求，性能显著优于无状态与多智能体基线
📌 工作参考价值
- 跨设备会话持续化：电商用户可能在手机浏览商品、电脑下单、平板查看评价。借鉴紧凑状态设计（交互证据、事实、未完成请求），代替存储完整历史，降低 token 消耗并保持意图延续性。
- 未指定设备的意图路由：当用户说“把刚才看的那件加入购物车”而未指名设备时，可使用设备级交互强度计数（如点击、停留时长、指向手势）自动识别最相关设备，类似 Unified Agent 的 engagement evidence。
- 显式状态分层：将状态分为当前感知、累积交互证据、事实记忆与待处理请求，使决策步骤清晰，便于调试和隐私审查；在推荐系统中可类似管理用户短期兴趣（活跃设备）与长期偏好（事实记忆）。
- 模型无关的状态优势：实验证明状态设计带来的增益在多种 MLLM（ GPT、Gemini）和能力级别下均显著，说明可将这一轻量状态模块嵌入现有 Agent 框架，无需依赖特定大模型能力。
动机 现有智能体在跨设备、跨时间场景下缺乏有效状态管理：单智能体将设备视为工具但无跨时间记忆，多智能体系统协调节点却无统一跨设备状态，导致当用户请求依赖过去交互而线索已消失时（如说“订我刚看的那家餐厅”），系统只能反问“哪个设备？”而无法自助解析。需要一种紧凑的状态设计，携带交互证据跨越时间与设备。
方法关键点
- 统一状态 St：包含三类信息——(1) 交互证据：每个设备的活跃次数、指向/接触线索；(2) 用户陈述的事实：以“设备-主题”对存储，解决多设备同一主题冲突；(3) 待处理请求：最近的可执行动作。
- 感知-折叠-行动管道：每个时刻 t，智能体只接收当前设备相机局部观察，将其折叠进状态 St，再基于 St 与当前观察一起做出决策（检测用户/设备、识别交互设备、推断意图、召回信息、选定响应设备、确定下一步动作）。
- 紧凑性：状态仅存储统计量而非原始画面，随设备数量增长而非时间长度，显著小于全量上下文。
实验与结果
- 构建 UA-BENCH 基准：100 对匹配场景，渲染的 3D 跨设备交互，包含 200 个 episode，共享前后帧但交换中间交互角色，确保标签由构造确定。
- 默认设置（GPT-5.6-Luna 低推理）下，统一智能体总体得分 0.668，显著领先全量上下文（0.613）、自笔记（0.480）、无状态（0.198）等基线，比公开的多智能体方法（Mixture-of-Agents 0.474）高 0.194，所有差异通过聚类 bootstrap 检验显著。
- 在跨模型族（Gemini 3.1 Flash-Lite）、跨能力（GPT-5.6-Sol）和跨推理强度（中等）下保持领先，差距分别为 0.031、0.033、0.058。
- 消融实验证实：移除计数或指向线索会导致交互设备识别准确率下降约 0.74；移除前一刻状态导致召回准确率下降 0.74；移除设备能力约束则路由准确率下降 0.18，说明三股状态信息各司其职。
核心发现：一个紧凑且有组织的跨设备状态，无需存储全量历史，即可让智能体在设备未指定时准确归因并调用正确信息，其优势稳健且可迁移至不同模型能力层级。