Six Layers Less: Encoder Pruning for Whisper with Label-Free Recovery
Whisper 编码器剪枝：移除六层并用无标签蒸馏恢复
🧭 语音模型压缩 · Encoder 层剪枝
Technical University of Denmark · Laerdal Medical
按留一层 WER 变化排序剪掉 Whisper 编码器 6 层，再用无标签语音蒸馏恢复精度，无需自定义推理
📌 工作参考价值（4 点）
- 层重要性排序思路可直接迁移到 Transformer 编码器剪枝：在推荐/搜索模型中对 Encoder 层做 leave-one-out 敏感性分析（如用 A/B 指标或 loss 变化），定位冗余层，避免盲剪。
- 零样本剪枝 + 无标签蒸馏的组合适合业务场景缺乏标注数据时压缩模型：用大量无监督域内数据做蒸馏恢复精度，降低标注成本。
- 压缩后保持原始架构（只是更浅的 Encoder）能避免自定义推理代码，可无缝复用现有推理优化和部署工具，这对线上快速迭代很重要。
- 对语音搜索、客服语音识别等多模态入口模型，可借鉴该剪枝蒸馏 pipeline，在延迟敏感场景下用少量精度损失换取明显推理加速。