AI Papers Daily

#SVD

5 篇

Advancing SVD-based LLM Compression via Layer-Wise Error Model Search

推进基于SVD的LLM压缩：逐层误差模型搜索

🧭 LLM 低秩压缩与层级误差建模

Technical University of Munich · BMW Group · University of Glasgow · TU Wien

提出LEMS与KFAC-SVD，分别解决SVD压缩中rank分配不精确和分解rank崩溃的问题

📌 工作参考价值（4 点）

• 在部署LLM用于推荐/query生成时，SVD压缩可大幅降低推理成本，但rank分配不能简单全局均匀：LEMS用逐层误差代理+ILP全局优化，能更好地保留关键层容量，值得借鉴到生成式推荐的backbone压缩。
• KFAC-SVD利用token-wise统计替代Fisher信息估计，缓解rank collapse，提高了分解质量；若业务中需要对嵌入层或Transformer层做低秩近似，可优先考虑类似token级统计修正。
• 层间误差传播的建模思路可迁移到多任务资源分配：在电商多目标排序模型中，不同层的敏感度不同，可仿照传播偏置做层级算力/参数预算分配。
• 工程实现上，ILP求解rank分配虽然复杂，但离线一次性完成，对在线推理无额外开销；适合用固定压缩比部署LLM生成商品描述、搜索词润色等场景。

Other | 2026-10-23 | cs.AI | score 7/10

SVDLLM CompressionRank AllocationKFAC-SVDLayer-wise ErrorILP

Towards Continual Learning: Mitigating Forgetting With Subspace Tuning

面向持续学习：通过子空间调优减轻遗忘

🧭 持续学习 · 子空间约束微调 ★ 深度解读

UC Berkeley · Mila · McGill University · Université de Montréal · UMass Amherst

通过将权重更新限制在低能量奇异子空间，SST 有效减轻 LLM 微调中的灾难性遗忘

📌 工作参考价值（4 点）

• 在业务中微调 LLM 以适应新领域或任务时，可引入 SST 保护已有通用能力，避免上线后基础能力下降，尤其适用于需要持续更新的推荐/广告模型。
• SST 与优化器无关，只需对优化器最终更新做投影，可直接嵌入现有 SFT/RLHF 流程，无需修改损失函数或数据，工程实现成本低。
• 保护主导奇异方向可显著减少对基模型的 KL 漂移（2-4 倍），有助于保持输出分布的稳定性，对在线学习或 A/B 测试更友好。
• 在顺序学习多领域任务时，SST 能够累积能力而非互相覆盖，适合构建多能力融合的模型或专家合并场景。

Training | 2026-10-15 | cs.LG | score 8/10

Catastrophic ForgettingSubspace TuningContinual LearningFine-tuningSVDOptimizer

SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference

SeKV：分辨率自适应的分层语义记忆 KV 缓存

🧭 长上下文推理 · KV 缓存压缩

University of British Columbia · Microsoft Research

用熵引导语义分段 + GPU-CPU 分层存储 + 按需 zoom-in 实现长上下文 KV 缓存压缩，避免丢弃信息

📌 工作参考价值（4 点）

• 长序列建模内存优化：电商推荐中用户行为序列可能很长，可借鉴语义分组与 GPU-CPU 分层存储思路，将高频访问的抽象摘要保留在 GPU，细节离线存储在 CPU，按需加载，减少线上显存压力。
• 按需检索历史细节：在 Agent 长期记忆或个性化对话中，当需要回溯具体 token 级信息时，zoom-in 机制可选择性展开相关片段，避免全量解压，适合精准检索。
• 低成本适配方案：冻结主模型，仅训练少量参数（0.05%）即可实现长上下文压缩，对业务快速实验友好，可将该范式用于微调推荐模型的长期依赖建模。
• 熵引导分段：利用注意力熵判断语义边界，对用户行为序列的时间切分或会话分割有启发，可尝试用于动态构建更具语义一致性的行为子序列。

LLM | 2026-06-29 | HF Daily | score 7/10

KV cachesemantic compressionlong-contextmemory hierarchyzoom-inSVD

SVD-Surgeon: Optimal Singular-Value Surgery for Large Language Model Compression

SVD-Surgeon：大语言模型的最优奇异值压缩手术

🧭 低秩压缩 · 二阶损失补偿

University of Freiburg · Prior Labs · ELLIS Institute Tübingen

将OBS框架引入SVD压缩，闭式更新保留奇异值以补偿截断损失，无需重训练

📌 工作参考价值（4 点）

• 将OBS补偿思想直接用于LLM的SVD压缩，无需微调即可提升压缩后模型质量，适合对延迟敏感的在线推荐或Agent系统快速迭代部署
• 奇异值重要性评估可指导结构化剪枝决策，例如在广告召回模型中按重要度保留关键秩，平衡吞吐与精度
• 方法即插即用，可叠加到现有SVD-LLM等压缩器上，工程实现成本低，可直接复用以压缩推荐系统中的语义编码器或生成模型
• 闭式更新公式仅需二阶导数信息，计算开销小，适合在大规模模型压缩流水线中作为后处理步骤

LLM | 2026-06-22 | cs.LG | score 7/10

SVDmodel compressionLLMOBStraining-freepruning

Redesign Mixture-of-Experts Routers with Manifold Power Iteration

基于流形幂迭代重新设计 MoE 路由器

🧭 MoE 路由器设计 · 幂迭代对齐 ★ 深度解读

Renmin University of China · Tencent

让路由器行向量逼近对应专家权重的主奇异方向，以提升 MoE 路由质量

📌 工作参考价值（4 点）

• 路由器显式编码专家特征：在电商 Agent 多智能体或生成式推荐的 MoE 架构中，可直接替入 MPI，无需调整推理 pipeline。每步仅需一次幂迭代与 L2 归一化，零额外推理开销，能与现有负载均衡损失、z-loss 等兼容。
• 幂迭代替代正交化初始化：若业务中专家矩阵动态更新，可借鉴 MPI 的“Power-then-Retract”模板，用廉价矩阵乘实时跟踪主奇异方向，代替昂贵的 SVD 或静态正交初始化，使路由器持续对齐专家能力变化，尤其适合在线更新的场景。
• 常数 C 的缩放准则：论文给出的 C′ ≈ O(1/√N) 设计原则（C = C′/√N）可作为超参传递给不同专家数模型，在推荐系统扩容专家时降低调参成本，保障路由 logits 尺度稳定。
• 负载均衡意外收益：MPI 天然降低负载均衡损失，省去一部分复杂的平衡策略，可用于电商多业务专家流量的自动均衡，减少“专家失活”问题。

Training | 2026-06-09 | HF Daily | score 8/10

MoERouterPower IterationSVDLoad BalancingOptimization