QASP: Query-Adaptive Robust Vector Search Policy
QASP：查询自适应鲁棒向量搜索策略
🧭 查询自适应向量搜索策略
Amazon
通过学习预测每个查询的召回进度曲线，以极低推理开销实现查询自适应搜索，显著降低方差与数据访问。
📌 工作参考价值
- 用回归预测召回曲线替代直接预测探测数：训练一个轻量模型预测任意探测数下的累积召回，再通过阈值得到探测数，可获得更丰富的监督信号（每查询L个标签），且支持跨召回目标泛化。在生产环境中，可以作为推荐系统向量召回（如 Faiss IVF）的查询自适应模块。
- 归一化、尺度不变特征设计：特征如相对距离（tanh(d(q,μ_l)/d(q,μ_1)-1)）、基于质心的局部固有维度、累积簇大小比例等，将查询难度与索引特性编码为统一形式，可直接迁移到其他向量搜索设置。
- 反应式校准机制不必重新推理：利用预测的逐簇增量召回率，在搜索时用 EWMA 监控实际发现率，若连续低于预测则提早终止，高于则延长搜索，作为安全网，不需额外模型调用，实现起来轻量高效。
- 极轻量模型便于大规模部署：QASP-DL 仅 1.5K 参数，内存 6-7 KB，吞吐 124K qps，可在 CPU 上批量推理，对搜索延迟影响极小。该模式适合在现有向量检索引擎中作为预处理步骤集成。
动机：固定探测数的向量搜索策略（如 IVF 索引中 nprobe 不变）导致简单查询访问过多数据、困难查询访问不足，传统平均召回率的评估方式掩盖了查询间的性能方差。需要一种计算开销极小的查询自适应方法，为每个查询动态决定探测数量，从而提升召回一致性和数据访问效率。
方法关键点：
- 回归目标：学习召回预测器 f(q, l)，输出查询 q 探测前 l 个簇时的累积召回率，再从预测曲线中取满足召回目标的最小 l 作为探测数，避免直接预测离散探测数的问题。
- 特征工程：设计归一化、尺度不变的特征，如相对距离（tanh 归一化）、基于质心的局部固有维度（LID）、累积簇大小占比、簇内距离变异系数等，并引入“相对跳变”特征捕捉增量变化趋势，使模型能泛化到不同索引配置。
- 三种轻量模型：QASP-DL（3层MLP，1.5K参数）、QASP-GBDT、QASP-LITE（多项式回归），训练数据通过一次离线模拟搜索生成，与现有调参开销持平。
- 推理与校准：预测在搜索前批量完成，借助反应式校准在搜索时用 EWMA 检验每簇增量召回偏差，自动提前终止或延长探索，无需额外模型调用。
- 跨域泛化：利用尺度不变特征，支持零样本和少样本（1% 查询）迁移到新数据集或新索引配置，训练一次可适用于分层索引的各级。
关键结果：在 SIFT1M、MNIST、GIST1M、Deep1B 10M 等7个数据集上，QASP 相比最优固定探测策略平均降低召回方差 57.7%、绝对偏差 33.6%，查询满足率提升 7.3%，且高召回目标下数据访问节省显著；在 Deep1B 分层索引上达到 99% 召回时数据访问减少 80% 以上。QASP-DL 推理延迟 0.26ms/批（32条），吞吐 124K qps，可满足大规模在线系统要求。