Beyond the Hard Budget: Sparsity Regularizers for More Interpretable Top-k Sparse Autoencoders
超越硬预算：稀疏正则化使Top-k稀疏自编码器更具可解释性
🧭 自编码器 · 稀疏正则化
Université Paris-Saclay, CentraleSupélec, France · Concordia University, Montreal, Canada · Mila–Quebec AI Institute, Montreal, Canada · Gustave Roussy, INSERM, Cancer Data Science Unit, France
为Top-k稀疏自编码器引入L1和L1/L2正则化，在不损失重建质量下提升特征单语义性
📌 工作参考价值（4 点）
- 若在推荐模型中使用稀疏自编码器学习可解释的用户/物品表示，可借鉴其 L1/L2 软正则化，使特征更聚焦、单语义性更强，提升表示的可解释性。
- 硬稀疏（Top-k）与软正则化结合的思想可迁移至其他需稀疏约束的场景，如注意力头的稀疏化或特征选择，避免固定预算带来的过拟合。
- “仅对批内活跃单元施加正则”的技巧，在工程上可降低计算开销，适用于大规模推荐模型训练中稀疏约束的设计。
- L1/L2 正则化使信息集中到更少隐变量，增强模型对推理时稀疏度变化的鲁棒性，有助于在生产环境中动态调整稀疏预算而不严重退化。