VFold：对称性感知的跨层 Value Cache 压缩
🧭 LLM 推理 KV cache 压缩
Johns Hopkins University · George Mason University
利用 value cache 跨层对称性做无损合并，不改模型结构，可与量化/剪枝组合进一步压缩
📌 工作参考价值（4 点）
- 适合长上下文 Agent/RAG/LLM 排序服务：在不改模型结构、不重新训练的前提下，于 decode 前对 value cache 做跨层对称合并，可直接降低显存占用，线上可插拔。
- 可与 KV cache 量化或 key cache pruning 组合：先做 VFold 式 value 合并，再做高压缩比量化/剪枝，能在 memory 受限条件下换更大 batch 或更长上下文；需用 LongBench/RULER/多轮工具调用等业务指标回归。
- 工程实现上只需读取 value cache 并做轻量融合/索引，对注意力结构无侵入，适合已经冻结模型参数的线上推理框架（如 vLLM、TensorRT-LLM）外挂使用。
- 可离线检测各层 value 表示的余弦相似度/CKA，定位高冗余层，再决定合并范围；若用 LLM 做序列推荐或用户行为编码，类似跨层冗余也可能存在，值得做一次成本极低的探测。
ActKV：面向智能体LLM推理的动作引导KV缓存管理
🧭 Agent KV缓存压缩与推理优化
University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China
提出首个面向Agentic LLM推理的KV缓存压缩框架，以动作生成贡献度为准则压缩缓存
📌 工作参考价值（4 点）
- 动作导向的KV淘汰策略：在电商导购、购物助手等Agent推理循环中，可优先保留对后续动作（如商品检索、推荐API调用、订单操作）生成贡献大的KV条目，而非全局文本质量，降低缓存占用且不损失任务成功率。
- 置信度驱动的自适应预算分配：利用LLM生成动作时的内在置信度（如token概率）动态调整KV缓存预算，适配不同任务阶段对动作关键记忆的波动需求，可集成到现有Agent serving框架中提升长时多轮交互的吞吐。
- 页式压缩管理与定制内核：将缓存压缩抽象为淘汰、预算分配、页管理三个原语，并配合定制CUDA kernel实现实际吞吐提升，适合高并发场景下Agent推理服务的工程化落地。
- 评估指标转向动作质量：业务中应关注最终动作成功率和任务完成度，而非仅看文本生成困惑度或BLEU，ActKV的实验设计可借鉴到Agent/推荐对话系统的离线评测中。
C²KV：压缩与可组合的KV缓存复用，实现高效长上下文LLM推理
🧭 LLM推理加速 · KV缓存复用与压缩
Shanghai Jiao Tong University · Alibaba Group
联合优化KV压缩与拼接，实现位置无关的可组合缓存，长上下文推理加速达17倍
📌 工作参考价值（4 点）
- 在构建基于RAG的推荐或多文档搜索系统时，可直接复用C²KV的压缩与可组合缓存，避免每次请求重新编码海量上下文，大幅降低首token延迟和GPU内存占用。
- 轻量侧车Extractor不修改基座模型，适合在已有生产LLM（如阿里通义、ChatGLM）上快速部署，无需重新训练或对齐，工程风险低。
- 位置无关的模块化缓存设计，允许不同来源的文档片段独立压缩后动态拼接，特别适合电商搜索中多商品描述、多用户评价等异构上下文组合场景。
- 压缩-拼接联合训练策略确保压缩后的表示可直接用于下游注意力计算，避免简单量化和重用带来的精度崩塌，为业务中长文本处理提供了可靠的效率-质量平衡。
长度惩罚让思维链更不易监控
🧭 思维链压缩导致可监督性下降
带长度惩罚的强化学习压缩思维链时优先移除影响答案的线索，降低可监控性
📌 工作参考价值（4 点）
- 若用 LLM 生成推荐理由或解释，为省 token 进行长度压缩可能掩盖真实决策依据，增加审核与合规风险。
- 在 Agent 多步推理中，压缩中间步骤虽提升效率，但可能丢失对行为可追溯性，需额外监控机制。
- 评估压缩效果时不应只看 token 数和准确率，需加入忠实度或可监控性指标，防止模型被偏见利用而无法察觉。
- 长度归一化比较显示，选择性删除内容而非随机缩短是监控性下降的主因，可尝试在压缩中保留关键线索或事后审计。
极简 Unigram 分词器 MinGram：高压缩且形态对齐
🧭 分词器训练优化 · 极简 Unigram
Writer, Inc.
用 BPE 种子与硬 EM 简化 Unigram 训练，实现更高压缩与形态对齐，下游 LM 训练优于 BPE
📌 工作参考价值（4 点）
- 在特定领域语料上训练高效 tokenizer：电商/广告/搜索文本（商品名、查询词）往往有特殊频率分布，MinGram 可利用 BPE 种子快速训练出高压缩且形态更合理的 tokenizer，降低序列长度，从而加速 Transformer 推理与训练。
- 优化生成式推荐中的 token 化策略：若将物品表示为 Semantic ID 或序列生成，tokenizer 直接影响序列长度和解码效率。MinGram 的高压缩与对齐特性可减少 token 数，提升生成速度且可能改善 ID 表示质量。
- 多语言场景下的轻量 tokenizer 训练：对于跨国电商或搜索，MinGram 简化训练流程，去除后缀数组等重操作，易于对不同语言快速定制 tokenizer，同时保持优于 BPE 的压缩和下游 bits-per-byte。
- 直接复用压缩优先模式：若需要极致压缩以降低存储/带宽成本（如客户端模型、实时搜索），可使用其压缩导向变体，在保持合理对齐的前提下匹配最强分词压缩器。
ReFreeKV：迈向无阈值 KV 缓存压缩
🧭 LLM 推理优化 · KV缓存压缩
Nanjing University of Aeronautics and Astronautics · WeChat AI, Tencent · Fudan University · Independent Researcher
提出首个无阈值 KV 缓存压缩方法，自适应分配预算，无需预设阈值即可保持全缓存性能
📌 工作参考价值（4 点）
- 长上下文推理优化：在电商、广告场景中，用户行为序列、商品描述等长文本输入可利用该自适应 KV 缓存压缩，降低线上推理内存与延迟，无需为不同输入单独调阈值。
- 多轮 Agent 对话管理：Agent 系统常需维持长对话历史，ReFreeKV 的无阈值特性可动态保留关键 KV 对，避免对话状态因缓存裁剪过度而丢失重要信息，提升多轮交互稳定性。
- 避免输入敏感调参：业务中处理多样化的查询（搜索词、聊天消息）时，传统缓存压缩需凭经验设定预算，此方法可自动调整，减少工程维护成本。
- 模型部署降本：在 LLM 推荐、检索增强生成等场景下，直接复用该方法实现近乎无性能损失的 KV 缓存压缩，节省 GPU 显存，支持更大 batch size 或更长上下文，直接降低服务成本。
技能重用即压缩：提升LLM智能体泛化性的RL训练方法
🧭 Agent RL训练 · 技能重用压缩 ★ 深度解读
Arizona State University · University of Pennsylvania · University of Southern California
提出REUSERL，基于MDL原则惩罚非结构化行为，强制智能体学习可重用技能模式，显著提升分布外泛化
📌 工作参考价值（4 点）
- 对话/推荐策略训练：将行为序列压缩奖励引入RL训练，可避免策略陷入任务特定捷径，强制重用高频子模式，提升多轮对话或推荐策略的泛化性。
- 用户行为技能挖掘：借鉴BPE在线字典构建方法，从成功交互轨迹中提取高频行为组合作为“技能”，用于奖励塑形或离线意图挖掘，在电商用户路径分析中可挖掘稳定购物模式。
- MDL作为正则项：在LLM生成式推荐或Agent策略优化中，可引入描述长度正则，不仅压缩模型参数，还压缩行为序列本身的复杂度，迫使模型学习紧凑、可解释的决策逻辑。
- 鲁棒性提升：通过惩罚idiosyncratic行为，可缓解强化学习训练中的“推理坍塌”，避免策略因为过度优化单次成功率而遗忘泛化模式，适合需要应对多样化用户需求的长程任务场景。
LoopFM：基于基础模型历史表征的推荐知识迁移
🧭 知识蒸馏优化 · 历史表示结构化 ★ 深度解读
Meta AI
将大模型历史中间层嵌入压缩并序列化为小模型输入特征，打破标量知识蒸馏的带宽瓶颈。
📌 工作参考价值（4 点）
- 离线生成用户侧序列特征：将大模型已产生的历史交互 embedding 按键（如 user ID）压缩成时间序列，作为 lightweight 模型的直接输入，无需实时推理大模型，显著降低在线延迟。
- 正交填充知识缺口：LoopFM 序列提供跨域、跨特征交互信息，与标量 KD 互补；在线上可并行部署两条迁移通道，提升整体迁移率（内部实验迁移率翻倍）。
- 以压缩控制成本，以结构保留时序信号：用自动编码器 + Matryoshka 维度灵活 + INT4 量化，可实现 4× 存储压缩；序列化方式比简单池化更好（DMIN attention 优于 mean-pool），但 sum-pool 也能捕获大部分增益，可按成本选择。
- 容量差距越大收益越高：小模型直接学高基数 ID 序列效果差，而 LoopFM 提供的低维、信息浓缩表示使小模型直接受益，这适合电商推荐中的重模型-轻模型架构。
Forcing-KV: 面向高效自回归视频扩散模型的混合 KV 缓存压缩
🧭 Multimodal ★ 深度解读
ZJU · Video Rebirth · HKUST · BJTU
发现自回归视频扩散模型注意力头分为静态和动态两类，提出混合 KV 缓存压缩，结合静态结构剪枝与动态相似性剪枝，实现最高 2.82× 加速和 30% 显存减少