Adaptive Sparsity Optimization with Learnable Soft Top-K and Per-Term Thresholding for Efficient Retrieval
可学习软Top-K与逐项阈值自适应稀疏优化用于高效检索
🧭 神经稀疏检索自适应稀疏化
University of California, Santa Barbara
提出可学习软Top-K、逐项阈值和FLOPs正则化联合稀疏化方案，大幅缩短LLM稀疏检索向量长度并保持效果
📌 工作参考价值（4 点）
- 可学习软Top-K替代硬Top-K：将稀疏化过程变成可微操作，允许端到端训练时动态调整保留项数量，避免离散选择带来的梯度断裂，适合嵌入到现有召回模型的训练流程中。
- 逐项阈值（per-term thresholding）：为每个词项学习独立的剪枝阈值，而非全局统一阈值，能更好适应长尾词频分布，在电商搜索词表极大且稀疏的场景下尤其有效。
- FLOPs正则化直接约束推理计算量：相比仅用L1正则，显式优化FLOPs能更精准地控制延迟和资源消耗，可以在保持召回质量的前提下，为线上服务设定计算预算。
- 工程收益明确：在MS MARCO和BEIR上显著降低平均查询/文档长度，可直接迁移到大规模电商搜索或推荐召回，减少倒排索引存储开销和查询延迟，适合对延迟敏感的生产环境。