ConvMem: Convolutional Memory for Long-Context Reasoning
ConvMem:面向长上下文推理的卷积记忆框架
🧭 长上下文推理 · 卷积记忆
Institute of Automation, Chinese Academy of Sciences
将长上下文推理重构为分层卷积,训练免费、高度并行,缩短推理链为对数树
📌 工作参考价值(4 点)
- 超长用户行为序列建模:可借鉴其分层卷积思路,将用户长期行为、浏览/点击序列分段,用 LLM 以当前 query 为卷积核做树状摘要,降低顺序读取延迟。
- 多意图查询分解:Multi-Kernel Convolution 把复杂 query 拆成多个语义通道并行处理,适合电商搜索中多意图识别与召回融合。
- 训练免费外挂记忆:无需强化学习微调,可作为独立 memory 组件接入现有 LLM API,避免在特定数据集上过拟合,利于快速落地。
- 工程并行优化:Configurable Strides 和 Skip Connections 支持对多个文本段批量 summary,适合长文档 RAG、商品详情/评论聚合等场景的 GPU 并行加速。