Cognitive-structured Multimodal Agent for Multimodal Understanding, Generation, and Editing
认知结构多模态 Agent：带情景视觉记忆的长时对话理解、生成与编辑
🧭 多模态 Agent · 认知记忆结构
Peking University · Tencent Inc. (WeChat Vision)
将视觉历史外化为结构化记忆并选择性检索，8B代理在20轮多模态对话中检索准确率达91.4%，超越32B统一模型且推理时间减半。
📌 工作参考价值
- 显式情景记忆管理 & 按需检索：将视觉信息压缩为结构化条目（标签、描述、缩略图）存入外部记忆库，仅检索相关片段注入上下文，可迁移到推荐系统中长序列用户行为建模，避免将所有历史行为塞进模型窗口，降低计算开销并提升跨轮引用准确率。
- 解耦的多模块架构与独立优化：感知抽象（PAE）、检索（CoRE）、任务执行（MEC）互相解耦，支持分别进行SFT和RL训练，并且PAE的优化直接以下游检索成功为奖励，而非独立的描述质量指标。在电商Agent中，可将商品图片理解、意图识别、工具调度分离，各模块可独立迭代。
- 分阶段SFT+RL训练策略：先SFT训练检索器，再通过RL（DAPO）提升检索精度，最后冻结检索器用RL优化记忆写入，形成闭环。推荐系统中的长期兴趣编码、记忆压缩等模块可借鉴：用任务奖励直接优化压缩策略，避免中间指标偏移。
- 工具增强的CMA-Harness部署框架：将执行控制器扩展为工具调用中枢，集成搜索、图像生成/编辑、布局拼接等17种工具，并利用多域持久记忆（会话、用户偏好、素材库）实现跨会话复用。对于搭建商品图合成、营销素材生成、客服视觉问答等Agent应用有直接参考价值。
动机：统一多模态模型在全上下文窗口中处理长时多轮对话时，视觉token随轮次爆炸增长，导致计算开销剧增和跨轮视觉引用准确率骤降（现有32B模型在困难场景下检索准确率不足3%）。传统记忆方法仅用文本摘要丢失细粒度视觉辨识度。因此需要结构化外部记忆与选择性检索，避免将所有历史图像重复送入模型。
方法关键点：
- 认知结构化代理：由三个模块组成——感知抽象引擎（PAE）将每张图像压缩为标签、描述和缩略图，存入情景视觉记忆（EVM）；认知检索引擎（CoRE）根据当前查询和对话状态检索相关记忆；多模态执行控制器（MEC）自主推断任务类别（生成、编辑、组合、理解、闲聊）并调度动作，只将检索到的视觉片段输入后续模块。
- 统一场景引擎：用Gemini模拟用户，结合QVwen-VL和Qwen-Image-Edit自动生成20轮多模态对话，为每轮精确标注应检索的历史图像和难度分级，提供SFT和RL训练数据，并构建M2CA-Bench评测基准（100个会话，2000个带标注轮次，分四级难度，包含相似混淆和无需检索的负样本）。
- 分阶段训练：先SFT训练CoRE的检索能力，再用DAPO强化学习优化检索策略（奖励考虑检索Jaccard相似度与难度权重），最后冻结CoRE，用RL优化PAE的记忆抽象质量，使记忆表示直接受下游检索成功度驱动。
- CMA-Harness部署框架：将同一认知结构扩展为工具增强的服务化部署，MEC可调用17种工具（网页搜索、图像生成/编辑、拼接等），并引入跨会话持久记忆（用户级偏好、素材库等），支持开放式多模态工作流。
关键结果：
- 在M2CA-Bench上，8B代理的检索准确率英文Full子集91.4%，中文89.6%，较32B All-Context基线提升+8.2%，Hard子集优势扩大至+18.4%。
- 推理效率：每轮时间从23.1秒降至12.7秒（约1.8倍加速），且生成质量（Gemini评分）在英文达8.49，中文8.53。
- 分阶段训练消融：SFT带来+7.3% Hard准确率，CoRE RL +6.5%，PAE RL +4.6%，证实各阶段价值。
- 纯文本记忆在Hard集仅24.4%/39.0%，完整EVM（含缩略图）达82.0%，表明细粒度视觉记忆不可替代。
核心洞见：结构化记忆与模块化决策是长时多模态代理的可扩展范式，能突破统一模型上下文窗口的瓶颈。