ReplaySSM：缓存 SSM 输入而非状态
🧭 LLM 推理加速 · SSM 状态缓存优化
Princeton University · NVIDIA
通过 checkpoint 加近期输入缓冲替代逐步状态读写，显著降低 SSM 状态 I/O 并支持高效投机解码与混合精度
📌 工作参考价值（4 点）
- 在线推理中若使用 Mamba-2、Gated DeltaNet 等 SSM 或混合模型，可参考 ReplaySSM 的 checkpoint + input buffer 设计，将状态更新从逐步改为周期性批量更新，减少约一半状态内存流量；直接降低首 token 延迟和长序列 decoding 成本，对搜索推荐场景中的 Agent 长链推理和工具调用尤其有用。
- 投机解码的 rollback 可以从复制/恢复完整状态改为只移动输入 buffer 的指针，极大降低回滚开销；在推荐系统里做批量候选生成或 LLM 推理时，可为投机验证阶段节省内存和计算，提高吞吐。
- 混合精度技巧：输出计算使用低精度 checkpoint，循环更新使用高精度 checkpoint，两个副本分离，避免量化误差进入后续 recurrent state。如果在线模型需要对状态做量化压缩，可采用此方法降低 KL 散度和下游效果损失。
- 工程实现上可以直接集成到 vLLM 等现有推理框架，不要求替换模型结构；业务中若已使用 vLLM 部署 SSM 或混合架构，可评估开启 ReplaySSM 获取 1.2-1.47x 标准解码加速或 1.8x 于投机解码的吞吐提升。
按需注意力：语言模型知道何时回忆
🧭 长上下文高效推理 · 按需注意力
Southern University of Science and Technology · Peking University · Peng Cheng Laboratory
训练轻量 recall head 基于解码状态动态触发全局注意力，在保持性能的同时大幅减少长上下文全局读取
📌 工作参考价值（4 点）
- 在电商多轮 Agent / 长会话推荐场景，可采用 local-first + 轻量 recall head 的思路：先用局部注意力生成，仅在预测到当前步需要全局信息时触发全局注意力，降低长上下文推理成本。
- 借鉴「只训练 recall head、冻结基座权重」的做法：在不改动线上 LLM 主干的前提下，通过一个极小的辅助头提升注意力分配效率，易于迭代和上线。
- 工程实现上参考其 vLLM 的 GPU 端条件执行：把是否执行全局注意力的分支放在 GPU kernel 内，避免 CPU-GPU 同步，才能真正把减少的全局读取转化为实际解码加速。
- 若业务使用 hybrid-attention 或长历史序列建模（如用户长期行为、商品描述），该方法可迁移为对重要 step 的按需全局召回，降低推理耗时同时保持大部分效果。
py-kvcache：vLLM 外部 KV 缓存的 NVMe 性能表征
🧭 LLM 推理 · KV cache 卸载优化
Vrije Universiteit Amsterdam · IBM Research Zurich
刻画外部 KV 缓存加载与重算的权衡，提出异步直接 I/O、有界 staging、调度感知预取，80k tokens 磁盘加载比 LMCache 快 2 倍
📌 工作参考价值（3 点）
- 在长上下文 LLM 服务（如 Agent 多步推理、长 prompt 推荐解释）中开启外部 KV cache 前，先用生产 trace 做 break-even 分析：H100 等强 GPU 上短前缀重算可能比磁盘加载更快，外部缓存应作为按场景开启的准入策略，而非全局默认。
- 缓存层设计要关注传输粒度与调度时序，而非只盯 NVMe 带宽：连续块传输 + 异步直接 I/O 绕过页缓存，并限制共享 staging buffer，避免挤占 GPU/CPU 内存；请求排队时就启动预读，让磁盘 I/O 与 prefill 计算重叠，可显著降低 TTFT。
- 对多轮对话和前缀链不规则场景，py-kvcache 的调度感知预加载有明确收益；若业务里 prompt 前缀复用度高（如推荐 agent 的固定 system prompt、RAG 检索后的公共上下文），可以在 CPU/NVMe 层缓存 KV，但需评估前缀长度分布和 GPU 算力后决定。
TreeWY：Gated DeltaNet 混合模型的树结构投机验证
🧭 LLM 推理 · 投机解码状态压缩 ★ 深度解读
Thomson Reuters
用树结构 WY 变换消除 GDN 投机验证的逐节点状态快照，单次三角求解验证整棵草案树并只重建接受态
📌 工作参考价值（3 点）
- 如果在线上部署 Qwen3.5 这类 GDN+softmax hybrid 模型做推荐理由、广告文案、Agent 回复生成，开启 speculative decoding 前先检查 vLLM/SGLang 的 GDN 状态管理策略：默认 store-all 会在每个 draft 位置存完整 recurrent state，高并发下状态池/KV 池先爆；TreeWY / ReplaySSM 这类只存伪值或延迟物化状态的方法能把每请求状态块从 N+1 降到 1，直接抬高 admission batch。
- 工程选择上，chain 草案可以融合成 CUDA graph kernel，保持低 per-step overhead；树形草案目前会破坏 graph capture，导致 piecewise 执行，虽然接受长度提升但吞吐不一定划算。业务上先用 chain+MTP 拿稳健收益，树宽等框架融合优化后再上。
- 对 Agent 系统长会话/多请求并发，p99 TTFT 是用户感知关键指标。TreeWY 在 memory-bound 场景把 p99 TTFT 最高降约 40×（35B, 128 concurrency, gmu 0.6），因为不排队；若高峰期 KV 池饱和度常超过 80%，这类状态压缩比 draft 算法本身更影响尾延迟。
思想级束搜索用于推理
🧭 test-time 推理算力分配 · 思想级束搜索 ★ 深度解读
Princeton University · MIT CSAIL · Meta AI
将 test-time 推理建模为硬件约束下的算力分配问题，用固定容量池的 thought-level beam search 动态剪枝并分支高质量前缀
📌 工作参考价值（4 点）
- 对 Agent 多步规划/多候选生成：把并行采样改为固定容量池的 beam search，用轻量 scorer（如 hidden-state probe）做中间过滤，周期性淘汰低分候选并从高分前缀继续展开，可显著降低 token 消耗并提高正确路径命中率。
- 长上下文生成（如商品文案、多轮推荐对话）中，利用 prefix caching 共享 KV cache，对不同分支只算增量 token，节省显存和推理成本；同时解耦逻辑搜索树与物理调度，避免内存压力下的贪心退化。
- 对 reasoning/planning 评估器：设置 warmup 阈值，延迟评分直到步骤充分展开，减少早期噪声误判；用 score-weighted majority vote 聚合答案，比等权投票更能利用置信度信号。
- 工程实现：保持活跃请求数恒定（zero-sum allocation）并让调度器与搜索逻辑解耦，在 vLLM 等 serving 引擎上可达高硬件利用率，减少排队延迟。
PaDoc：布局引导的并行解码文档解析
🧭 多模态文档解析 · 并行解码加速
Tsinghua University · Wechat Vision, Tencent
将文档布局建模为分支结构，通过前缀条件分解实现并行解码，将自回归深度缩减至最长分支，突破速度瓶颈
📌 工作参考价值（4 点）
- 生成式推荐需同时产多条文案/建议时，可借鉴分支并行解码：在共享用户/上下文表示上并发生成多序列，降低端到端延迟。
- 训练阶段使用打包变长祖先注意力（Packed Variable-Length Ancestor Attention）保持多分支可见性，该技巧可迁移到部分自回归多序列生成模型的训练。
- 推理部署上，借助 vLLM 共享前缀缓存和并发请求能力优化批量生成：重用长期兴趣等公共前缀，减少重复计算，提升吞吐并降低 P95 延迟。
- 电商详情页解析等离线图文理解任务，PaDoc 的并行解码可大幅提升单卡吞吐，适合大批量商品图片结构化处理，可集成至内容审核、智能排版等流程。
InferScale：GPU 原生的 KV 注入式个性化 LLM 推理系统
🧭 LLM 推理优化 · KV 缓存复用 ★ 深度解读
Northeastern University
通过 GPU 驻留的记忆 KV 缓存与 Chunked RoPE，使 TTFT 几乎不随检索上下文增长，吞吐提升 3.7–4.5×
📌 工作参考价值（4 点）
- 对电商 / 搜索推荐场景中频繁复用的用户画像、历史行为摘要等静态上下文，可离线编码为 KV 缓存，在线直接注入，避免每次请求都重新预填充，大幅降低首 token 延迟。
- Chunked RoPE 方法允许记忆块以任意位置组装注入，支持动态检索拼装，适合排序或对话中按查询相关性动态选择用户记忆的场景。
- 上下文窗口编码可在离线阶段保留记忆块之间的局部依赖，还原近乎联合预填充的准确性，同时保持在线零额外开销；在推荐理由生成或对话式推荐中可提升事实一致性。
- 实现采用 vLLM 的 KV-connector 接口，无需修改推理引擎或模型微调，易于在现有 LLM 服务栈中集成，降低落地成本。
解锁非均匀KV缓存压缩以高效支持多轮LLM服务
🧭 LLM服务 · 非均匀KV缓存压缩
Hanyang University · Rebellions
提出Tangram框架，通过静态预算预留、粗糙分页和提前负载均衡，使非均匀KV压缩在多轮LLM服务中可达最高2.6倍吞吐提升
📌 工作参考价值（4 点）
- 多轮对话推荐 / Agent 场景中，KV 缓存膨胀是吞吐瓶颈，非均匀头级压缩精度保持更好，Tangram 展示了如何通过离线校准头的保留模式并静态规划调度，避免运行时碎片回收开销，对自研推理引擎有直接参考价值。
- 可借鉴“预算预留”：请求调度时预先固定每头压缩后内存大小，消除 prefill 阶段的页面回收（原占 25% prefill 时间），减少延迟抖动，适合对延迟敏感的在线服务。
- “粗糙分页”将预算相近的头分入独立页表，将内部碎片转化为可回收内存，提升显存利用率，利于在有限显存下支撑更长对话历史。
- “提前负载均衡”离线计算 GPU 分区，彻底消除 decode 步中 15-20% 的动态重规划开销，这一思想可迁移到需要 GPU 并行推理的推荐模型部署中。
基于艺术强化训练的冻结多模态大模型微调方法 ART
🧭 参数高效微调 · 视觉软提示 · 强化训练
University of Stavanger · NORCE Research
仅优化视觉像素输入实现软提示微调，无需修改计算图，兼容vLLM等高性能引擎
📌 工作参考价值（4 点）
- 多租户微调部署：若业务中部署多模态 LLM（如商品图文理解、交互式 Agent），ART 允许在不修改模型计算图的情况下注入任务知识，每个任务只需维护一个可学习图像，避免反复编译。这对 vLLM 等高性能推理引擎极其友好，可大幅降低多下游任务切换的成本。
- 快速实验与迭代：改变优化目标或任务时，只需重新训练输入像素，无需动模型权重。强化学习优化（GRPO）使奖励设计更灵活，适合需要不断调整策略的应用场景，如对话式推荐中的响应优化。
- 视觉软提示的可解释性与风格化：优化的视觉输入可以呈现为任务相关的艺术图像，让调试更直观，也可作为一种隐式正则，提升模型对分布外输入的鲁棒性。在推荐系统中，可尝试为不同品类或人群生成专属“视觉提示”，辅助文本决策。
- 兼容纯文本任务：实验在数学和工具调用等纯文本基准上取得与 LoRA 相当的效果，证明即便下游任务无真实图像输入，ART 仍能有效注入信息，因此也适用于以文本为主的推荐或 Agent 模型，前提是底层模型为多模态架构。
KVServe：面向通信效率的拆解式LLM服务中服务感知KV缓存压缩
🧭 LLM推理优化 · KV缓存压缩 · 拆解式服务
University of Chinese Academy of Sciences · Institute of Computing Technology, Chinese Academy of Sciences · Shanghai Jiao Tong University
首个服务感知的自适应KV缓存压缩框架，通过贝叶斯搜索与在线控制实现动态策略选择，显著降低拆解式推理的通信延迟。
📌 工作参考价值（4 点）
- 电商/推荐系统若采用PD分离或KV拆解的LLM推理，可借鉴KVServe的“离线Pareto候选生成+在线bandit选择”模式，用轻量控制器动态匹配请求的时延/吞吐/质量约束，避免静态配置导致SLO违规。
- 自适应压缩思想可迁移到生成式推荐中的Embedding或特征传输压缩：根据网带宽、查询复杂度和延迟预算等上下文，动态切换量化/稀疏化/选择策略，而非固定一种压缩方法。
- 贝叶斯Profiling Engine通过全局探索+局部细搜+3D Pareto剪枝的方式大幅降低搜索开销（50×），在推荐系统的超参或策略组合爆炸场景中，可用于快速生成高质量候选配置集。
- 在线控制中的“分析模型+bandit”机制可迁移到Agent多智体通信优化：为Agent间的消息大小、压缩等级建立延迟预测模型，结合多臂老虎机上探索，在满足延迟目标下最大化通信效率。