#SSM

5 篇

ReplaySSM: Cache SSM Inputs, Not State

ReplaySSM：缓存 SSM 输入而非状态

🧭 LLM 推理加速 · SSM 状态缓存优化

Princeton University · NVIDIA

通过 checkpoint 加近期输入缓冲替代逐步状态读写，显著降低 SSM 状态 I/O 并支持高效投机解码与混合精度

📌 工作参考价值（4 点）

在线推理中若使用 Mamba-2、Gated DeltaNet 等 SSM 或混合模型，可参考 ReplaySSM 的 checkpoint + input buffer 设计，将状态更新从逐步改为周期性批量更新，减少约一半状态内存流量；直接降低首 token 延迟和长序列 decoding 成本，对搜索推荐场景中的 Agent 长链推理和工具调用尤其有用。
投机解码的 rollback 可以从复制/恢复完整状态改为只移动输入 buffer 的指针，极大降低回滚开销；在推荐系统里做批量候选生成或 LLM 推理时，可为投机验证阶段节省内存和计算，提高吞吐。
混合精度技巧：输出计算使用低精度 checkpoint，循环更新使用高精度 checkpoint，两个副本分离，避免量化误差进入后续 recurrent state。如果在线模型需要对状态做量化压缩，可采用此方法降低 KL 散度和下游效果损失。
工程实现上可以直接集成到 vLLM 等现有推理框架，不要求替换模型结构；业务中若已使用 vLLM 部署 SSM 或混合架构，可评估开启 ReplaySSM 获取 1.2-1.47x 标准解码加速或 1.8x 于投机解码的吞吐提升。

LLM | 2026-10-09 | cs.LG | score 7/10

分数阶状态空间转移用于长序列建模

🧭 长序列建模 · 分数阶状态空间 ★ 深度解读

Huawei Noah's Ark Lab, Montreal Research Center, Canada

用分数阶动力学替换指数遗忘，通过有限指数模态近似实现高效选择性SSM长序列建模

📌 工作参考价值（5 点）

用户长期行为序列建模可直接借鉴：电商/广告场景通常有数月甚至跨年的点击、浏览、购买序列，传统 SSM/RNN 的指数衰减会快速抹掉早期兴趣。FRAC 的分数阶动力学生成幂律记忆，能在更长时间范围保留历史影响，适合作为用户长期兴趣记忆模块。
多时间尺度记忆银行的具体实现：将状态转移分解为 log-spaced 指数衰减模态，用可学习 α_t 控制衰减强度，并用 token-dependent λ_t 做选择性调制。这种设计与用户行为中不同时间尺度模式（如近期强兴趣、历史稳定偏好）天然对齐，可直接嵌入现有 user encoder。
工程实现与训练效率：FRAC 保持一阶仿射递归，可用 chunked parallel scan 并行训练/prefill，自回归解码有界状态，且有 custom Triton kernel。对需要低延迟、长序列增量更新的推荐/广告检索系统来说，架构可迁移。
读写对齐技巧：read/write 路径共享 softmax(-α_t log τ_m + g(u)_m) 的对数时间尺度寻址，能提升信息写入和读取的一致性。在用户行为表示中可类比为让不同时间尺度的兴趣槽位在写入和读取时使用同一套寻址逻辑，增强记忆可检索性。
若业务序列普遍较短或已由 Transformer 覆盖，收益可能有限；但对长上下文行为建模和实时增量计算场景值得尝试。

LLM | 2026-09-27 | HF Daily | score 8/10

边缘语言模型的结构化记忆：O(1) SSM 状态注入实现持久上下文与语料检索

🧭 SSM 状态注入实现 O(1) RAG

BrainChip Inc.

利用 SSM 固定大小隐藏状态实现 O(1) 预填充的语料检索与记忆巩固，在边缘设备上实现 4500 倍加速

📌 工作参考价值（4 点）

RAG | 2026-08-03 | cs.IR | score 7/10

互补记忆痕迹框架 CMT-RAG：用于多轮多跳对话 RAG

🧭 对话记忆与检索协同 · 子问题级 trace ★ 深度解读

中山大学 · 深圳循环智能研究院 · 香港大学

用子问题级记忆痕迹对齐对话记忆与检索，通过 SSM+DAG 实现跨轮依赖跟踪和证据复用

📌 工作参考价值（3 点）

子问题级记忆单元设计：在电商对话推荐或搜索中，可借鉴 trace 结构（子问题、关键词、依赖、证据 ID），将用户意图分解为可检索的细化单元，避免全文历史重放导致的上下文稀释。
依赖图驱动的证据复用：每次对话轮次通过 DAG 节点链接前序推理步骤，直接复用之前检索到的段落 ID，减少重复检索，提升长对话的响应速度与一致性，适合多轮商品对比或参数补充场景。
SSM 生成器替代 Transformer 重编码：使用 Mamba-2 维护回合级隐状态，将推理时延降低近一半，适合对延迟敏感的在线服务；同时通过课程学习 + DPO 微调适配特定下游 Reader，可落地到需要结构化计划生成的 Agent 工作流中。

RAG | 2026-07-29 | cs.IR | score 8/10

语言模型也需要睡眠：离线递归巩固长时记忆以支持深层推理

🧭 序列模型记忆巩固 · 离线递归计算 ★ 深度解读

Carnegie Mellon University · University of Maryland

在SSM-Attention混合模型中引入离线递归更新快权重，将计算移出推理时，提升对已逐出上下文的深层推理能力

📌 工作参考价值（4 点）

离线递归巩固用户长序列行为：电商推荐中用户行为序列很长，可将sleep机制用于在上下文窗满时将历史行为压缩进SSM或fast weight记忆，并迭代更新几次后再清空KV缓存，后续预测只需单次前向，保证在线低延迟。
Fast weight显式存储推理中间态：在生成式推荐（如Semantic ID序列）中，可将用户兴趣演化视为一种需要“深度计算”的推理过程，利用递归快权重更新逐步聚合信息，而非仅依赖固定深度的Encoder，这与当前多智体（Agent）记忆压缩的场景可类比。
递归深度可自适应难度：根据当前交互的复杂程度（如查询涉及的hop数）自动调节sleep的递归步数N，类似动态网络深度，简单场景用N=1快速响应，复杂推理场景用更大N保证精度。
训练时通过递归快权重反向传播：在离线训练时采用类似递推跨窗的梯度回传，避免全序列并行的高内存，可处理超长用户序列，与当前推荐系统流式训练架构兼容。

Training | 2026-05-24 | HF Daily | score 8/10