解码感知剪枝：面向 LLM 高效推理的 SparseDecoding
🧭 LLM 推理剪枝与稀疏计算优化
Westlake University · Ant Group
提出解码感知的剪枝框架，用生成过程激活校准并优化N:M稀疏SpMV内核，实现1.48x解码加速
📌 工作参考价值（3 点）
- 校准数据选择：剪枝/量化 LLM 时，让 dense 模型自回归生成并从各层收集激活作为校准集，而非离线静态文本，能缓解分布偏移导致的性能下降；在电商推荐理由生成、Agent 长回复等 decode 为主场景尤其适用。
- 系统内核优化：线上 LLM 以 decode 为主时，应重点优化 SpMV；采用 N:M 结构化稀疏配合 bitmask 索引与固定步长遍历，可有效降低 memory-bound 延迟，在商品描述生成、对话式推荐等长输出服务中提升吞吐。
- 训练后剪枝无需微调，工程成本低，适合对已有搜索推荐 LLM 服务做快速压缩迭代，保留任务性能的同时降低 A100/H100 推理成本。
SQS：基于稀疏量化子分布的贝叶斯 DNN 压缩
🧭 模型压缩 · 贝叶斯变分推断
Purdue University · University of Texas at El Paso
用 spike-and-slab 先验与高斯混合模型统一贝叶斯剪枝与量化，压缩率更高且精度损失相当
📌 工作参考价值（4 点）
- 统一压缩替代两阶段：电商/广告排序塔及 LLM-based reranker 对推理延迟和内存敏感，可借鉴 SQS 把稀疏化和量化作为同一个变分学习问题，避免先剪枝再量化带来的误差累积；对 embedding 层、FFN 层可分别设置稀疏率和码本宽度。
- 可微的先验/近似方案：spike-and-slab 先验天然支持非结构化剪枝，GMM 后验提供量化码本均值，整体保持可微优化；工程落地时可用更轻量的近似替代复杂积分。
- 面向 LLM 部署可迁移：论文在 Llama3.2、Qwen2.5 上验证，说明适合本地部署的 embedding 模型、轻量生成式推荐模型；可按层或 token 粒度做联合压缩，降低 CPU/边缘推理成本。
- 注意：低 bit 量化依赖硬件算子和量化校准，需结合 TensorRT/ONNX 等推理框架；论文偏学术方法，业务收益还需线上延迟和精度实测。
表格数据学习中 Transformer 注意力头的重要性评分
🧭 表格 Transformer 注意力头可解释性与剪枝
Tennessee State University · Enosis Solutions · North Carolina Agricultural and Technical University
首次将注意力头重要性评分用于表格 Transformer，72.5% 实验中移除最低重要性头最稳健
📌 工作参考价值（4 点）
- 若业务中正在用 Transformer 处理用户/物品/上下文特征或表格型特征，可直接对每层每个 head 计算重要性分数，按低重要性逐步剪枝；论文在 40 个 tabular 数据集上显示，先删最低重要性 head 在 72.5% 实验中性能损失最小，适合做线上模型压缩和降本。
- 重要 head 跨层分散，没有稳定层规律；因此剪枝/降载时不要固定保留最后一层或某几层，最好在目标业务数据上重新度量。
- 不同 dataset/schema 的 head 重要性差异大，意味着多域推荐或不同场景（CTR、CVR、push 文案）下不宜共用一套 head mask，可分场景/分域计算重要性，甚至做成 feature-based importance 监控。
- 该方法可以作为解释工具，排查表格型 Transformer 里哪些 head 捕捉重要交叉特征/高基数类别特征，辅助特征工程和模型调试；源码可直接复用。
超越反向传播：蒙特卡洛方法可训练深度神经网络
🧭 蒙特卡洛无梯度训练方法
Department of Physics, Xiamen University · Lanzhou Center for Theoretical Physics, Lanzhou University
用最简单的随机突变-保留蒙特卡洛算法在单GPU上训练深层网络，无需梯度、归一化或残差连接
📌 工作参考价值（4 点）
- 离散权重训练：可直接训练低比特量化模型，适合需要极端压缩的端侧推荐模型，避免量化后微调。
- 纯剪枝训练：在训练过程中维持稀疏连接，省去传统“训练-剪枝-重训”流程，可集成到推荐模型压缩 pipeline 中。
- 不可微目标优化：当损失函数不可微或硬件不支持高效 BP 时，提供备选方案，例如基于规则或模拟环境的推荐策略学习。
- 主要学术贡献：收敛速度极慢，目前不适合工业级大规模推荐在线训练，但可关注后续加速变体在小样本离线调优中的应用。
SVD-Surgeon：大语言模型的最优奇异值压缩手术
🧭 低秩压缩 · 二阶损失补偿
University of Freiburg · Prior Labs · ELLIS Institute Tübingen
将OBS框架引入SVD压缩，闭式更新保留奇异值以补偿截断损失，无需重训练
📌 工作参考价值（4 点）
- 将OBS补偿思想直接用于LLM的SVD压缩，无需微调即可提升压缩后模型质量，适合对延迟敏感的在线推荐或Agent系统快速迭代部署
- 奇异值重要性评估可指导结构化剪枝决策，例如在广告召回模型中按重要度保留关键秩，平衡吞吐与精度
- 方法即插即用，可叠加到现有SVD-LLM等压缩器上，工程实现成本低，可直接复用以压缩推荐系统中的语义编码器或生成模型
- 闭式更新公式仅需二阶导数信息，计算开销小，适合在大规模模型压缩流水线中作为后处理步骤
少草稿，多检索：投机解码的混合树构建
🧭 投机解码 · 草稿树优化
Zhejiang University · Qwen Applications Business Group of Alibaba · University of Science and Technology of China
通过剪枝释放预算并用检索补偿，构建混合草稿树，打破稠密树与剪枝树的帕累托权衡
📌 工作参考价值（4 点）
- 推理加速的预算重新分配：将剪枝释放的 VRAM 与算力用于检索高预测性 token，适合电商搜索/推荐系统中低延迟生成场景的资源调度。
- 无损、免训练的即插即用：方法无需额外训练，可直接嵌入现有投机解码框架，对模型效果零损失，便于在 Agent 对话或推荐结果生成等在线服务中快速验证。
- 检索与生成的深度融合：通过拓扑嫁接将检索 token 无缝插入树结构，启发在生成式推荐中，利用外部知识库或高频序列库补充生成草稿，提升命中率。
- 长上下文与大规模模型的稳定增益：在 235B 大模型和 64K 长序列上表现突出，为电商大模型（如商品描述生成、多轮对话）的实时推理提供高效加速方案。