AI Papers Daily

#low-rank

4 篇

VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs

可变速率训练无关KV缓存压缩用于长上下文大模型

🧭 长上下文LLM推理优化 · 可变速率KV缓存压缩

Iowa State University

提出无训练可变秩KV缓存压缩方法VarRate，按显著性分配预算并保留所有token，实现接近无损的长上下文推理

📌 工作参考价值（4 点）

• 在线LLM服务可直接部署VarRate作为无训练的KV缓存压缩插件，减少长上下文推理内存占用，支撑更长的用户历史（如推荐理由生成、Agent对话历史理解）。
• 在多查询复用预填充缓存的场景（如批量用户查询），VarRate避免丢弃token导致的精度崩溃，保障关键信息不丢失，提升推荐或搜索结果的稳定性。
• 显著性得分可基于注意力权重快速计算，适合流式处理，能集成到实时推理管线中，无需额外模型或微调，降低工程复杂度。
• 可变秩分配思想可推广到特征存储、用户画像压缩等模块，通过保留所有数据点但差异化精度，实现更好的资源效率平衡。

LLM | 2026-07-16 | cs.CL | score 7/10

KV cache compressionlow-ranktraining-freevariable-ratelong-contextLLM inference

A JoLT for the KV Cache: Near-Lossless KV Cache Compression via Joint Tucker and JL-Residual Allocation for LLMs

LLM KV缓存近无损压缩：联合Tucker分解与JL残差分配

🧭 LLM推理 · KV缓存压缩

将KV缓存视为三阶张量，用部分Tucker分解+JL旋转低比特残差联合优化，实现近无损2-3倍压缩

📌 工作参考价值（4 点）

• 对于部署LLM做推荐解释、对话Agent的场景，可直接应用JoLT将KV缓存压缩2-3倍，节省显存、提升批处理大小与吞吐，且保持输出质量几乎不变。
• Tucker分解+JL残差的联合优化思路（拉格朗日对偶分配秩与比特预算）可迁移到电商搜索推荐中其它高维张量压缩任务，如用户-商品-时间嵌入压缩。
• FlashJoLT的随机SVD加速策略可作为在线压缩的工程参考，适用于需要动态调整压缩率的推荐模型部署。
• 该方法在分组查询注意力和多头注意力结构上均有效，证明其对主流LLM架构通用，建议在实际Agent/生成式推荐系统中优先尝试。

LLM | 2026-07-14 | cs.CL | score 8/10

KV cacheTucker decompositionJohnson-Lindenstrausscompressionlow-rankquantization

SLORR: Simple and Efficient In-Training Low-Rank Regularization

SLORR：简单高效的低秩正则化框架，实现训练中压缩友好

🧭 训练时低秩正则化压缩

Max Planck Institute for Intelligent Systems · University of Tübingen · ELLIS Institute Tübingen · Tübingen AI Center

在训练中施加低秩正则化，使模型压缩后更易保持性能，训练开销极低

📌 工作参考价值（4 点）

• 推荐模型训练时加入低秩正则化，可提升后续低秩分解压缩的质量，减小推理开销，且不改变模型结构，易于在现有Pipeline中插入。
• 使用Hoyer近似或核范数近似，避免直接计算SVD，计算开销低（LLM训练中<1%），适合大规模推荐模型或Agent模型的训练。
• 对于基于LLM的生成式推荐（GenRec），在预训练阶段施加SLORR，后续压缩时能更好保留语义ID生成质量。
• 无状态、架构不变的设计，可将其作为插件添加到现有训练流程，用于任何权重矩阵的低秩偏好学习。

Training | 2026-07-09 | cs.LG | score 7/10

low-rankregularizationcompressionHoyernuclear normtraining efficiency

You Only Need Minimal RLVR Training: Extrapolating LLMs via Rank-1 Trajectories

仅需极少量 RLVR 训练：通过秩-1 轨迹外推 LLM

🧭 RLVR 训练效率优化 · 参数轨迹外推

University of Virginia · Washington University in St. Louis

发现 RLVR 参数轨迹是低秩且线性的，提出 RELEX 只需 15% 训练步数即可外推高质量 checkpoint

📌 工作参考价值（4 点）

• 在线学习/RL 调优的早期停止：在电商推荐、Agent 策略的 RL 微调中，监控参数更新矩阵的秩，若观察到类似秩-1 结构，可大幅压缩训练步数，直接外推后续 checkpoint，节省算力。
• 低资源快速实验：仅需短窗口（如 15% 步数）和简单 SVD+线性回归，无需额外训练即可获得完整训练的近似模型，适合快速迭代验证想法。
• 模型合并与聚合中的去噪：秩-1 投影可滤除随机优化噪声，这一思想可迁移到联邦学习的参数聚合或多臂老虎机策略合并，提高鲁棒性。
• 长期性能预测：在无法完整训练的场景（如在线 A/B 测试需快速决策），用少量步数的参数变化线性外推长期趋势，提前终止劣化方向。

Training | 2026-05-19 | HF Daily | score 7/10

RLVRlow-rankextrapolationcheckpointsdenoisingtraining efficiency