Personal AI Agent for Camera Roll VQA
面向相机卷的个人AI视觉问答助手
🧭 个人视觉记忆Agent与分层检索
University of Wisconsin-Madison · Korea University · Adobe Research
提出个人相机卷VQA基准与分层记忆AI Agent，揭示长程个性化视觉理解的挑战
📌 工作参考价值
- 分层记忆结构可直接复用到用户行为流：三层金字塔（原始行为→个性化摘要→事件/会话摘要）可对电商用户的浏览、加购、下单序列建模，O(1)双向链接支持快速回溯，适合构建「我上次买这类商品后还看了什么」之类的查询。
- 两轴工具设计是工程化检索的轻量范本：将检索接口按“范式（语义/词法/过滤）”和“深度（预览/全文/原始数据）”分解为5个原子工具，既控制token预算又保持灵活性，适合在推荐解释或对话推荐中按需调用不同粒度的信息。
- 事件分段方法可用于会话/场景切分：用MLLM以增量的方式判断行为属于延续、更新还是新事件，无需离线全量重处理，适合实时流式场景，如电商平台中将用户连续行为自动聚合为“选购某品类”“犹豫比较”等有语义的单元。
- 预算感知的Agent设计值得借鉴：显式给出剩余步骤数和工具配额，促使Agent在粗筛和精查之间做权衡，可在多步推荐推理中防止过度消耗资源，同时失败分析显示需针对记忆-行动循环做专项后训练，而非仅依赖通用能力。
动机：个人相机卷已成为数字生活档案，但现有工具仅支持表面搜索（人脸、地点），无法回答“在NASA看完航天飞机发射后我吃了什么”这样需要事件上下文和时序推理的问题。直接输入所有图像受限于token成本与长窗理解劣化，而现有RAG或记忆方法将图像转成泛化文本描述，丢失个人细节。该工作旨在填补长程个人视觉记忆推理的空白，构建数据集并设计专用Agent。
方法关键点：
- camroll数据集：从YFCC-100M和真实用户收集50个用户、31,476张照片、2,500对QA，涵盖语义（个人画像）和情境（事件锚定）两类问题，附带黄金证据图像，强调答案高度个性化（90%答案仅出现在单一用户中）。
- camroll-agent：构建三层记忆金字塔：原始像素→个性化描述（结合用户头像和最近k张照片的上下文）→事件摘要（增量式事件分割：ADD/UPDATE/NO_OP）。记忆跨层双向链接。
- 五工具接口：基于两轴设计——检索范式（search语义/grep词法/list过滤）和访问深度（预览/get全文/view原始图像），Agent遵循ReAct循环，附带剩余步数和工具配额提示，强制高效探索。
关键结果：
- camroll-agent用仅3.2k tokens达到GPT-4o评分4.11，超过全描述基线（150k tokens / 3.82分）和全图像基线（750k tokens / 5.01分但不可行），且远优于RAG/记忆层方法（最高2.68分）。
- 消融显示去除分层结构（通用描述、无事件、无描述）均显著降分；去除搜索工具影响最大。
- 错误分析表明多数失败源于Agent决策（证据未召回或过早放弃）而非视觉理解差，提示需专项训练。
- 专用工具设计使得Agent以搜索为主（53.6%），而通用编程Agent被迫进行大量文件系统遍历和耗时的视觉检查，效率低下。
关键结论：分层记忆、迭代检索与领域特定工具是处理长程个人视觉记忆的必要条件，单靠扩展上下文长度或通用RAG无法胜任。