BeaconKV：信标查询引导的 KV 缓存压缩加速大推理模型推理
🧭 LLM 推理加速 · KV cache 压缩
Hanyang University · Sungkyunkwan University
发现长程推理中查询聚类可预测重访 KV，提出训练无关信标查询压缩 KV 缓存，内存降5.8倍且准确率几乎无损
📌 工作参考价值（3 点）
- 在自研/部署 LRM（如 DeepSeek-R1、Qwen3）的推理服务中，KV cache 内存常成为瓶颈；BeaconKV 训练无关，可直接插入现有推理框架（如 vLLM、SGLang），无需微调，适合电商/广告场景的复杂导购 Agent、自动策略生成等长 CoT 任务。
- 借鉴“thought revisiting”洞察：模型长推理时会重访早期计划/关键信息，若在 Agent 记忆或上下文选择中使用简单的 recent-biased 策略可能丢失重要远距离信息；建议对历史 query 做聚类，保留每个聚类的代表性 query，用于判断哪些 KV 应保留。
- 工程实现上，可维护少量 beacon queries（每个聚类代表）而非完整 query 历史，预测后续 token 是否会重访，从而动态裁剪 KV cache；该方法已在四个开源 LRM 上验证，内存减少最高5.8×、吞吐提升4.3×，可先在离线长推理任务上 A/B 测试效果。
ResKV：固定预算下通过残差缓存重构被忽略注意力贡献的KV缓存压缩
🧭 固定预算KV缓存压缩
University of Electronic Science and Technology of China
将KV缓存预算分为精确主缓存与紧凑残差缓存，同框归一化复原被丢弃token的注意力分子分母贡献，广泛提升长上下文性能。
📌 工作参考价值（3 点）
- 在电商推荐的长用户行为序列建模中，若使用LLM生成式推荐，KV缓存膨胀是瓶颈，可借鉴ResKV的残差缓存思路：保留核心token作为精确主缓存，用紧凑残差统计量重构被丢弃token的注意力贡献，从而在内存受限下保持长上下文的注意力完整性。
- 工程实现上，残差缓存的构建可通过离线验证决定每层每头的残差预算分配，解码时动态门控按query调整残差贡献，这种在线-离线协同策略可以迁移到推荐系统中的搜索/浏览长序列压缩，平衡效果与延迟。
- 残差缓存参与同一softmax归一化，而不是事后修正，这一设计确保注意力分数的分子和分母质量都得到恢复，相比简单的eviction或合并方法，对下游生成质量更友好，适合高精度要求的选品文案生成、个性化搜索词推荐等场景。
LLM KV缓存近无损压缩：联合Tucker分解与JL残差分配
🧭 LLM推理 · KV缓存压缩
将KV缓存视为三阶张量，用部分Tucker分解+JL旋转低比特残差联合优化，实现近无损2-3倍压缩
📌 工作参考价值（4 点）
- 对于部署LLM做推荐解释、对话Agent的场景，可直接应用JoLT将KV缓存压缩2-3倍，节省显存、提升批处理大小与吞吐，且保持输出质量几乎不变。
- Tucker分解+JL残差的联合优化思路（拉格朗日对偶分配秩与比特预算）可迁移到电商搜索推荐中其它高维张量压缩任务，如用户-商品-时间嵌入压缩。
- FlashJoLT的随机SVD加速策略可作为在线压缩的工程参考，适用于需要动态调整压缩率的推荐模型部署。
- 该方法在分组查询注意力和多头注意力结构上均有效，证明其对主流LLM架构通用，建议在实际Agent/生成式推荐系统中优先尝试。
SLORR：简单高效的低秩正则化框架，实现训练中压缩友好
🧭 训练时低秩正则化压缩
Max Planck Institute for Intelligent Systems · University of Tübingen · ELLIS Institute Tübingen · Tübingen AI Center
在训练中施加低秩正则化，使模型压缩后更易保持性能，训练开销极低
📌 工作参考价值（4 点）
- 推荐模型训练时加入低秩正则化，可提升后续低秩分解压缩的质量，减小推理开销，且不改变模型结构，易于在现有Pipeline中插入。
- 使用Hoyer近似或核范数近似，避免直接计算SVD，计算开销低（LLM训练中<1%），适合大规模推荐模型或Agent模型的训练。
- 对于基于LLM的生成式推荐（GenRec），在预训练阶段施加SLORR，后续压缩时能更好保留语义ID生成质量。
- 无状态、架构不变的设计，可将其作为插件添加到现有训练流程，用于任何权重矩阵的低秩偏好学习。
基于分割树的子词分词方法ToaST
🧭 分词优化 · 子词压缩
Kensho Technologies · Ben-Gurion University · MIT
通过递归分割树与整数规划直接优化压缩率，大幅减少token数量并提升下游性能
📌 工作参考价值（4 点）
- 分词压缩率提升11%+，可降低推理成本、延长有效上下文，适合大规模文本处理或LLM驱动的电商描述生成、对话系统
- 词表选择建模为整数规划，用LP松弛获得近最优解，这一思路可借鉴到推荐场景的特征离散化或Semantic ID编码优化
- 递归分割树结构天然支持自回归推理中的动态分词决策，可探索与生成式推荐的树形索引结合，提升编码效率
- Rényi效率大幅提升，意味着稀有token使用更均衡，可能减少OOV问题，适用于多语言电商场景或罕见商品名称编码
基于凸松弛的分词优化
🧭 分词优化·凸松弛
ETH Zurich · Kensho Technologies
将分词器构建转化为线性规划，用凸优化求解全局最优词表，压缩率和语言模型性能超越贪心算法
📌 工作参考价值（4 点）
- 可将分词目标显式建模为最小化编码成本，利用凸优化求解全局词表，获得更优压缩率，减少电商商品描述等文本的 token 序列长度，降低 LLM 推理成本。
- 提供严格的最优性下界，用于定量评估现有分词器（如 BPE）的优化差距，指导词汇量设置。
- 方法可作为 BPE 的离线替代，训练时直接使用 ConvexTok 词表，无需改动下游模型架构。
- 注意：目标函数设计依赖具体语料，在生成式推荐中可考虑引入业务指标（如文本编码后的推荐效果）作为优化目标，但需定制化实现。