Keep It InMind: Benchmarking the Implicit-Association Blind Spot in Agent Memory
InMind：Agent 记忆系统隐式关联盲点基准
🧭 Agent 记忆评估 · 隐式关联盲点
University of Science and Technology of China · Metastone Technology
提出 InMind 基准，揭示基于检索的记忆系统在间接查询中因缺乏相似线索而系统性地遗漏关键记忆，差距从 84% 跌至 14%
📌 工作参考价值
- 业务场景的隐式关联风险：电商、推荐系统中用户历史行为（如拥有宠物）与当前查询（搜索“百合花”）之间缺少 token 或语义重叠，基于嵌入的检索会遗漏这种安全/偏好信息。可借鉴 InMind 的任务构造方式，主动设计跨域桥接问询，测试自身系统是否会“记得但不用”。
- 评估范式：三重控制分离失败原因：InMind 用直接查询控制存储成功、in-context 控制模型桥接能力、目标召回检查检索是否送达，将检索失败与存储或知识缺失剥离开。业务内部评测可复现这一范式，快速定位问题出在写入、模型还是检索端。
- 路由决策是核心开放问题：always‑in‑state 诊断（仅维持一次 200 行 profile）恢复大部分性能（68.8%），而 MemoryOS 这类带有可见 profile 的混合系统仍差很远，说明关键并非“有可见状态”，而是“决策哪些记忆必须始终可见”。对推荐中的长期记忆，可引入重要性路由，如根据未来可能桥接的风险（健康、安全）对记忆打标，强制进入上下文。
- 嵌入增强不能根本解决问题：从 384 维换到 3072 维 embedding，目标召回上升但应用率仍在低位，证明单纯增大 embedding 并无法掌握药理、法律等冷门桥接知识。在工程中不应仅依赖 embedding 相似度，可考虑配合结构化知识图谱或启发式规则来显式表达某些隐式关联。
动机 现有 Agent 长期记忆系统大多基于查询条件检索：用当前 query 的嵌入检索相近记忆，拼入 prompt。这种设计默认“需要的记忆必与查询相似”，但在很多真实场景中，记忆与查询之间的关联由外部世界知识建立，表面上毫无 token 或语义重叠——例如用户有树坚果过敏，但请求马卡龙食谱，马卡龙配方里的杏仁粉与过敏记录完全无共现词。这种“隐式关联盲点”会诱发严重的错误，而现有评测无法区分失败来自未存储、模型缺乏桥接知识还是检索未调出。为此，论文构建了 InMind，一个专门暴露此盲点的基准。
方法关键点
- 数据集：125 个任务，涵盖医疗、职业、消费等 10 个生活域，其中 113 任务桥接知识来自 FDA、OSHA 等可引用公共来源，其余 12 个由专家撰写，全部经过专家验证。
- 任务构造：每个任务包含一条个人化记忆（如“我有树坚果过敏”）和一个间接查询（“我想试试做马卡龙，有没有好食谱？”），答案因记忆而改变，但查询与记忆无直接相似 cue。
- 三重控制：①直接
naive查询评测记忆是否可被常规检索成功调出；② in-context 控制（将记忆直接放入上下文）测模型桥接能力；③ answer‑blindtarget recall检查记忆是否到达最终上下文，以此分离存储失败、模型知识缺失与检索失败。 - 评测记忆系统：6 种当前主流记忆系统（A‑RAG、xMemory、Mem0、A‑Mem、HippoRAG 2、MemoryOS），覆盖向量、图、agentic 设计，均使用 MiniLM 或 text‑embedding‑3‑large 嵌入，并在 47 轮干扰对话后进行测试。
关键结果
- 直接召回（naive）最高达 100%，证明存储与常规检索有效。
- 间接应用率最高仅 16.0%（最佳配置），而 in‑context 控制达 84.0%，证明模型有能力桥接，仅因检索未将记忆送入上下文。
- 更换 3072 维大 embedding 后，目标召回上升，但应用率仍只有 14.4%，证明更大嵌入不足以弥补知识桥接的缺失。
- 极简
always‑in‑state诊断（在每次回答前将一条最多 200 行的 markdown 概要永久放入上下文）将间接应用提升至 68.8%，表明只要记忆在 query 到达前已可见，大部分差距即可收复；但 MemoryOS 等已集成 profile 的混合系统却远不能及，说明核心问题在于路由——决定哪些记忆应始终保持可见。
一句话 检索假设“需要的记忆必定与查询相似”对隐式关联不成立，真正开放的问题是路由：何时让关键记忆脱离相似度竞争，主动进入推理视野。