AiSAQ-in-Filtering:无 DRAM 过滤向量检索
🧭 向量检索 · 过滤搜索 · DRAM-free ANNS ★ 深度解读
Kioxia Corporation
提出 LiPQ 将标签与向量联合 PQ 编码,使过滤 ANNS 保持接近零 DRAM 且索引加载快
📌 工作参考价值(4 点)
- 若业务使用 DiskANN/AiSAQ 做向量检索,带类目、品牌、属性等过滤条件时,可采用 LiPQ 把离散标签与 item embedding 联合 PQ,标签信息编码进压缩向量,避免标签单独占 DRAM,利于多租户和频繁索引切换。
- 标签距离用负内积,二进制标签可扩展为 BM25/稀疏关键词权重,实现语义向量 + 关键词混合检索而不额外增加内存;注意 β 需手动调,β 过大时 LiPQ 量化误差会上升。
- 实验显示 Zipf 分布标签(贴近电商头部类目/品牌)比 uniform 更体现 LiPQ 优势,长尾标签 recall 提升最多 55%,可优先在长尾过滤属性上验证。
- 索引加载时间从分钟级降到毫秒级(uniform 标签 SIFT1M 从约 970 秒降到 10.1 ms),对实时索引切换、多租户 SaaS 检索服务有直接价值。
动态探索图:支撑动态多媒体数据集高效近邻搜索的新方法
🧭 动态向量索引 · 图算法优化
Visual Computing Group, HTW Berlin
提出动态图索引 DEG,以连通性保持顶点删除和分布无关扩展实现高效动态 ANNS
📌 工作参考价值(4 点)
- 电商推荐中商品向量索引频繁增删(新品/下架),DEG 的在线动态更新机制可替代全量重建,降低工程复杂度与计算开销。
- 顶点删除算法保证图连通性,可借鉴到召回索引的结点下线逻辑,避免因删除引发召回缺口。
- 分布无关的图扩展不依赖数据分布先验,适合电商长尾、冷热不均的嵌入分布,维持索引平衡。
- 流式场景下构建时间与检索吞吐优于 FreshDiskANN 等方法,适合实时推理服务,可转用到 Agent 动态知识库的向量检索模块。
用于高效多媒体检索的持续细化探索图
🧭 图索引构建与探索式搜索优化
HTW Berlin
提出 crEG,快速构建紧凑且连通性保证的图索引,专为探索搜索优化,推荐场景价值突出
📌 工作参考价值(4 点)
- 实时增量索引:crEG 构建速度极快,内存占用低,适合电商高频更新的物品库,可直接用于 embedding 索引的在线增量更新。
- item-to-item 探索推荐:图连通性始终保证,天然适合“以物品搜物品”的场景(如详情页相似推荐),避免死胡同,提升可探索性。
- 动态边优化:可选的边优化算法能在不重建全图的情况下持续提升精度,适合需要渐进式索引质量提升的线上服务。
- 评估校准:实验表明标准 ANN 指标(recall@k)高不代表探索搜索表现好,推荐系统评估需加入探索场景(query 来自库内点)的专用指标,避免离线评测与线上效果脱节。
面向高维LLM嵌入的快速近似最近邻搜索
🧭 向量近似最近邻搜索加速
Visual Computing Group, HTW Berlin · vviinn, Berlin
通过EVP量化与1D预排序优化图索引构建,大幅提升LLM嵌入向量搜索的构建速度与缓存效率
📌 工作参考价值(4 点)
- 工业推荐系统向量召回阶段,可借鉴EVP空间划分量化,加速图索引构建,同时配合定向重排序保证召回率。
- 处理非归一化嵌入(如LLM特征)做MIPS时,使用维度扩充技巧转换为欧氏距离搜索,复用成熟ANN库而不必重新实现内积索引。
- FLAS一维预排序方法能显著改善图遍历时的内存局部性,适合在线服务低延迟要求,可集成到现有HNSW等图索引构建流程的前置步骤。
- 资源受限线上环境(如8核CPU、24GB内存)下,本文技术组合提供了一个低开销高性能的ANNS方案参考,便于算法落地。
ANNLib:解耦算法与数据结构的高性能 ANNS 开发框架
🧭 解耦算法与数据结构的可扩展 ANNS 框架 ★ 深度解读
UC Riverside · William & Mary
通过解耦算法与数据结构,实现灵活组合的图基 ANNS 框架,性能与专用系统相当或更优
📌 工作参考价值(4 点)
- 模块化设计允许独立替换图算法(Vamana、HNSW)与底层存储容器(CSR、功能树、Chrono Prefix Array),推荐系统可快速适配静态索引、实时更新或历史快照回溯等不同场景。
- 内置 Stitched-vamana 与 Filtered-vamana 过滤搜索,通过定制邻居访问闭包 (f_nbhs) 即可在向量检索中无缝融合商品标签或属性约束,避免预过滤的性能损失。
- 批量删除采用惰性标记 + 并行边修复 (consolidation) 策略,能在不重建索引的情况下维护图连通性,适合电商场景中频繁上下架商品的向量索引维护。
- Chrono Prefix Array 通过共享前缀压缩历史边版本,将多版本快照内存占用降低达 70.4%,可用于 A/B 测试或离线分析时高效保存索引状态。
聚类反击:用Helmsman构建高性价比大规模向量检索系统
🧭 近似最近邻搜索 · 聚类索引系统优化
East China Normal University · Shanghai Jiaotong University · Xiaohongshu Inc
用聚类索引+用户态闪存栈+学习型剪枝+GPU加速,替代全内存HNSW,成本降90%且维持高性能
📌 工作参考价值(4 点)
- 当向量库规模导致全内存HNSW成本不可接受时,可参考聚类+全闪存架构,利用用户态I/O栈(如SPDK)消除内核开销,大幅降低硬件投入的同时满足低延迟SLA。
- 学习型剪枝(leveling-learned pruning)思路可用于多级检索系统:动态预测每层需扫描的聚类数量,避免固定剪枝造成的精度损失或冗余计算,可迁移到推荐召回的分层索引中。
- GPU加速索引构建流水线使十亿级索引能在小时内重建,适合电商场景下频繁全量/增量更新需求,缩短模型到上线的延迟。
- 系统层面将ANNS负载从数万核CPU+大内存下沉到少量闪存机器,对团队评估检索架构演进方向有直接参考价值:优先考虑存储优化和计算下推,而非线性堆资源。