Compute Globally, Materialize Locally: The Memory Contract of Sparse Event-KV
全局计算，本地物化：稀疏事件KV缓存的内存契约
🧭 LLM推理 · KV缓存语义存留机制
Independent Researchers
从服务中省略源观测，下游事件的KV缓存仍能携带上游计算结果，且可被程序化写入
📌 工作参考价值
- Agent记忆系统的写入策略：若要用KV缓存做记忆，不要依赖自然对话中的隐式提及，应主动插入简洁的“载体事件”（如一个计算指令）。当前模型上，主动写入比被动收割在Qwen3-8B上将携带状态恢复率从6%提升至51%。需按模型校准触发词（如用“consist”而非“write”），并始终保留显式文本记录作为回退。
- Eviction/Prefix缓存评估风险：丢弃一个源事件后若模型准确率未下降，不能断定该源事件无用——其状态可能已物化到后续事件的KV行中。评估策略时，需用隐蔽源值+控制token不变的“捐赠者对”方法，隔离文本泄露与纯KV信息存留。
- 多跳推理路由优化：在多步依赖链中，根源事件的行携带主要信号，引用边仅路由回根。选择缓存行时，保留根节点即可，不必全链路保存，可指导检索增强生成中回滚/缓存复用逻辑。
- 状态更新开销：修正谬误时，追加一个补丁事件的KV覆盖即可，代价O(pL+p²)而非全量重算O(L²)。但补丁本身会干扰历史查询，需查询范围限定与模板兼容性处理。
动机：长程Agent系统重用KV缓存作为记忆，但丢弃源观测后，下游事件的缓存行是否仍携带从已删除输入推导出的状态？现有评估并未隔离这一“语义物化”效应。本文通过控制实验，在完全相同的服务文本及位置下，仅翻转被省略的源值，直接测量下游行的信息携带能力，为稀疏事件KV服务建立可行性边界。
方法：
- 捐赠者对设计：两条轨迹仅在省略的源事件中写入不同值（如ON/OFF），下游根事件文本不命名该值，固定所有被服务token及位置。若模型回答跟随隐藏值，则KV行携带了额外状态。
- 载体构造库：测试16种语义等价但表面形式不同的镜像/标志谓词，测量写入率（无源时正确率）与理解率（有源时）的分离，发现写入取决于表层措辞而非语义。
- 着陆与访问分析：通过稀疏选择不同事件行（根、引用边）组合，分析物化状态驻留位置；变换载荷规模（二元至三位数）及查询形式，测量原生读取的紧凑状态边界。
- 编程原语验证：在合成轨迹中主动插入无答案的“计算指令”事件，量化携带率变化；在REALTALK、LoCoMo真实长对话上测试被动收割的收益。
关键结果：
- 跨模型稳健：在Qwen3-8B上，捐赠者敏感样本中99:0遵循隐藏源值；Ministral-3、Gemma-4同样呈强方向性。
- 写入非通用：comprehend（均值0.98）不保证write-through（范围0.48–0.95），consist写入率0.94，write仅0.52，且无构造在所有模型上均为写入类。
- 根着陆：根事件行携带主导状态（Qwen3根效应+0.40），引用边将查询路由回根而非自己持值。
- 访问边界：二元状态恢复率0.934，四值降至0.22，三位数精确恢复为0；写入提示可提升派生结果，但数值载荷不动。
- 主动载体效果：被动提及仅6%跟随源，NL计算指令升至51%，显式文本达100%。被动收割在真实对话中未检测到优势（Gemma-4等效于孤立编码）。
一句话：KV行不仅是文本的缓存，而是可被预先计算的函数结果；丢弃源事件后，必须用主动写下的载体事件来声明状态，而非信任被动上下文灌输。