#GPU

3 篇

Lychee: Certified Screening of Inverted Lists for High-Recall Vector Search

Lychee：高召回向量搜索的倒排列表认证筛选

🧭 高性能向量检索 · GPU 倒排索引

University of Washington, Tacoma School of Engineering and Technology

Lychee 在 GPU 倒排索引上通过 certified screening 跳过大部分向量读取，实现高召回向量搜索加速

📌 工作参考价值（4 点）

在电商/推荐的高召回向量召回场景（如风控、相似商品去重、内容安全）中，可在现有 IVF/倒排索引上增加基于 anchor 的 certified lower bound 预筛，用 GPU tensor cores 做数值比对，避免读取全精度向量，显著降低显存带宽压力；可参考其证明框架，确保不损失召回。
若业务使用 cuVS / Faiss IVF-Flat，可借鉴 Lychee 的筛选顺序：先按 bound 递增处理候选，快速排除大部分不相关向量，只对少数候选计算精确距离；尤其适合 probe 数较大、追求 0.999+ recall 的场景，吞吐不再与 probe 数量成反比。
多 GPU 扩展方案对亿级/十亿级商品 embedding 库有参考价值：通过分片和跨 GPU 合并，可在 4 卡上达到十亿向量 0.9999 recall 的工程可行性。
对使用量化/图索引但需要高召回的业务，该方法的“certified exact top-k of probed lists”特性可替代部分重排，避免全量 rerank，平衡精度与延迟。

Other | 2026-10-22 | cs.IR | score 7/10

SweepANN：面向药物发现的 GPU 加速大 K 近似向量搜索

🧭 大规模向量检索 GPU 加速 · 高召回大 K

Arizona State University · Independent Researcher

GPU 分区扫描与窗口阈值过滤实现大 K 高召回向量检索，在药物筛选中达 99.6% 召回且比现有方案快 8-24x

📌 工作参考价值（4 点）

批量矩阵乘法评分：将向量分区常驻 GPU，一个块只读一次，用一次 GEMM 对整批 query 打分。在召回/匹配系统中，当 query 批量较大时，可显著减少显存带宽压力，尤其适合双塔模型的批量召回打分。
窗口计划（window plan）：先用采样块估算每个 query 的 top-K 分数下界，之后仅处理高于阈值的行。该策略可在保证高召回的同时大幅降低计算和内存，适用于需要大 K 候选（如广告召回数千候选）且对召回率要求极高的场景。
压缩向量 + 溢出重算：用压缩向量快速扫描筛选，对可能进入 top-K 的候选做精确重算，兼顾精度与效率。可借鉴到量化召回场景，用低精度预筛 + 高精度重排的方式平衡成本。
自适应计划选择：根据 K 和库大小选择不同执行计划（grouped vs window），自动平衡内存与速度。工程上可以设计类似的调度器，根据请求规模动态切换召回策略。

RecSys | 2026-10-19 | cs.IR | score 7/10

Flash-GMM：用于可扩展软聚类的内存高效 GPU 内核

🧭 大规模 GPU GMM 聚类加速

IBM Research

提岀 Flash-GMM，通过 Triton 内核融合避免显存实现完整责任矩阵，实现 20 倍加速，支持单卡训练百倍更大数据集。

📌 工作参考价值（4 点）

用 GMM 软聚类替代 k-means 做 IVF 粗量化：利用 GMM 的责任度将边界向量分配给多个簇，相比 k-means 硬分配，在相同召回下可减少最高 1.7× 的距离计算量，或同等计算预算下提升 recall@10 2~12 个点，适合召回阶段的向量检索优化。
单卡训练超大规模聚类模型：Flash-GMM 避免了显存中 N×K 责任矩阵的实例化，能在单块 A100 (80GB) 上直接训练多达 1 亿向量、1024 个簇的 GMM，为十亿级物品库的索引构建提供可能。
融合核与工程实现：整个 EM 迭代在一个 Triton kernel 中完成，无需存储中间矩阵，可作为即插即用的模块集成到现有 GPU 向量检索管线，显著降低内存压力并提升训练吞吐。
扩展软分配思想：在多模态 / 语义 ID 场景，可借鉴 GMM 的责任度作为软标签，为物品生成多个语义簇归属，替代独热分配，提升生成式推荐的聚类表达能力。

RecSys | 2026-06-08 | HF Daily | score 7/10