Memory for Large Language Models
大型语言模型记忆机制综述
🧭 LLM记忆机制综述
提出以架构为中心的LLM记忆分类框架，沿表征、更新、持久性三轴统一碎片化研究。
📌 工作参考价值
- 长期用户建模：在电商推荐Agent中，可借鉴显式记忆存储（如外部KV Cache）持久化用户跨会话行为，解决长期偏好漂移问题。
- 混合记忆架构：采用短/长期记忆协同设计，短期记忆负责实时上下文（如浏览序列），长期记忆存储压缩画像（如购买历史Embedding），平衡延迟与个性化。
- 在线记忆更新：利用参数高效微调（如LoRA）实现轻量级在线用户兴趣更新，无需全量重训，适合千人千面的动态推荐场景。
- 记忆路由与压缩：将多源异构用户数据（点击、搜索、购买）通过记忆路由器动态写入不同存储分区，并结合记忆压缩技术降低存储开销，提升长序列处理效率。
动机：LLM的记忆机制已从隐式计算副产物发展为显式可控组件，但研究极为碎片化，涵盖暂态注意力、循环状态、参数高效适配和可扩展检索存储等分散范式，亟需统一视角。
方法：该综述提出以架构为中心的LLM记忆分类学，沿三个正交轴系统化：表征（隐式 vs. 显式）、更新动态（离线 vs. 在线）和持久性（短期 vs. 长期）。进一步形式化了记忆写入、路由、状态转换和整合的细粒度机制，清晰界定计算耦合记忆与独立可寻址记忆的边界，从而桥接不同架构范式。
结果：综述梳理了混合记忆架构的设计选择与系统效率权衡，并总结了多维评估方法论。通过将零散进展整合为统一框架，为可扩展、自适应语言模型中的记忆中心设计提供了原理性基础。未报告具体性能数字，但厘清了关键设计维度与潜在权衡，例如显式记忆增强可缓解长上下文遗忘，但引入额外检索延迟。