#IVF

4 篇

RemoteANN: A Native Vector Search Engine for Cloud Object Storage

RemoteANN：面向云对象存储的原生向量搜索引擎

🧭 云对象存储上的向量检索系统 ★ 深度解读

Nanyang Technological University · ByteDance

通过 IVF+RaBitQ 量化与数据重排序、请求合并等协同设计，大幅降低云对象存储向量搜索的 I/O 与 API 请求成本

📌 工作参考价值（5 点）

若将大规模 embedding 卸载到 S3 等对象存储以降低存储成本，应优先采用 IVF 类索引而非图索引：图索引多跳路由会叠加网络 TTFB，IVF 单轮拉取候选簇更适合高延迟远程存储。
借鉴 RaBitQ 量化思路：将向量压缩为 1-bit prefix 常驻内存用于粗筛和距离估计，其余低精度码放远程存储，可大幅减少远程请求，适合嵌入召回的大规模粗排阶段。
数据重排序 + 请求合并是降低 API 调用费用的关键：对簇按质心最近邻路径排序（近似 Hamiltonian path），簇内按到质心距离排序，使查询目标范围局部集中，再用动态规划合并 Range-GET 请求，可迁移到任何按请求计费的远程数据读取场景。
本地 NVMe SSD 缓存采用自适应阈值：当请求范围大于阈值时整簇下载填充缓存，平衡带宽与缓存命中率，适合电商热门商品/用户 embedding 的冷热分层访问。
QGKMeans 用 SymphonyQG 加速 k-means 质心分配，索引构建时间可降低数倍，适用于需要频繁重建向量索引的业务（如商品库更新、A/B 测试多版本索引）。

Other | 2026-10-18 | cs.IR | score 8/10

解耦湖仓中的过滤向量搜索：组合表格式剪枝与逐文件ANN

🧭 湖仓原生过滤向量搜索 · 文件剪枝

IBM Research

将IVF索引嵌入Parquet文件尾部，复用Iceberg表已有的文件剪枝能力，先按过滤条件剪枝文件再执行向量搜索，避免独立的过滤步骤

📌 工作参考价值（4 点）

过滤与向量搜索一体化：在电商/推荐系统中，大量查询带有结构化过滤（类目、品牌、价格），可借鉴将过滤条件融入文件剪枝（分区/zone-map），先大幅削减数据文件再执行本地向量索引，避免跨系统的过滤后搜素开销。
利用湖仓元数据构建索引：索引构建通过Iceberg replace 等元数据操作，不重写数据文件，对已有数据管道无侵入，适合在现有数据湖上增量构建向量索引。
分布式索引与缓存：逐文件独立构建IVF集群、部署rendezvous-hash缓存层，可缓解对象存储高延迟；在电商海量商品库中，可按属性分区构建局部IVF索引，结合本地缓存加速重复查询。
安全继承：向量搜索直接作用于湖仓表，继承目录的访问控制，避免将向量外拷到单独向量数据库带来的权限同步问题。

Other | 2026-08-05 | cs.IR | score 7/10

QASP：查询自适应鲁棒向量搜索策略

🧭 查询自适应向量搜索策略 ★ 深度解读

Amazon

通过学习预测每个查询的召回进度曲线，以极低推理开销实现查询自适应搜索，显著降低方差与数据访问。

📌 工作参考价值（4 点）

用回归预测召回曲线替代直接预测探测数：训练一个轻量模型预测任意探测数下的累积召回，再通过阈值得到探测数，可获得更丰富的监督信号（每查询L个标签），且支持跨召回目标泛化。在生产环境中，可以作为推荐系统向量召回（如 Faiss IVF）的查询自适应模块。
归一化、尺度不变特征设计：特征如相对距离（tanh(d(q,μ_l)/d(q,μ_1)-1)）、基于质心的局部固有维度、累积簇大小比例等，将查询难度与索引特性编码为统一形式，可直接迁移到其他向量搜索设置。
反应式校准机制不必重新推理：利用预测的逐簇增量召回率，在搜索时用 EWMA 监控实际发现率，若连续低于预测则提早终止，高于则延长搜索，作为安全网，不需额外模型调用，实现起来轻量高效。
极轻量模型便于大规模部署：QASP-DL 仅 1.5K 参数，内存 6-7 KB，吞吐 124K qps，可在 CPU 上批量推理，对搜索延迟影响极小。该模式适合在现有向量检索引擎中作为预处理步骤集成。

RecSys | 2026-07-31 | cs.IR | score 8/10

Flash-GMM：用于可扩展软聚类的内存高效 GPU 内核

🧭 大规模 GPU GMM 聚类加速

IBM Research

提岀 Flash-GMM，通过 Triton 内核融合避免显存实现完整责任矩阵，实现 20 倍加速，支持单卡训练百倍更大数据集。

📌 工作参考价值（4 点）

用 GMM 软聚类替代 k-means 做 IVF 粗量化：利用 GMM 的责任度将边界向量分配给多个簇，相比 k-means 硬分配，在相同召回下可减少最高 1.7× 的距离计算量，或同等计算预算下提升 recall@10 2~12 个点，适合召回阶段的向量检索优化。
单卡训练超大规模聚类模型：Flash-GMM 避免了显存中 N×K 责任矩阵的实例化，能在单块 A100 (80GB) 上直接训练多达 1 亿向量、1024 个簇的 GMM，为十亿级物品库的索引构建提供可能。
融合核与工程实现：整个 EM 迭代在一个 Triton kernel 中完成，无需存储中间矩阵，可作为即插即用的模块集成到现有 GPU 向量检索管线，显著降低内存压力并提升训练吞吐。
扩展软分配思想：在多模态 / 语义 ID 场景，可借鉴 GMM 的责任度作为软标签，为物品生成多个语义簇归属，替代独热分配，提升生成式推荐的聚类表达能力。

RecSys | 2026-06-08 | HF Daily | score 7/10