CoWalk：面向磁盘驻留图 Agent 批量查询的协作游走
🧭 向量检索 · 批量协同查询优化
Sun Yat-sen University · Pengcheng Laboratory
让批量语义相关向量查询在同一线程协作遍历图索引，每页只读一次、所有查询共享打分，显著减少 I/O 与距离计算
📌 工作参考价值（4 点）
- 如果业务中存在 query 改写、多路并发召回或多 rollout 评测等批量语义相关向量查询，可在服务端把同一 batch 绑定到同一线程/执行器，共享页读取与打分，直接降低磁盘 ANN 的重复 I/O。
- 仅加共享 page cache 不一定能加速搜索，因为 walk 不变、距离计算仍是瓶颈；需要让任一 fetched page 被 batch 内所有 query 同时计算距离，从而改变剪枝与候选扩展过程，才能同时减少距离计算和 I/O。
- 在电商/广告的 embedding 召回或 RAG 检索服务中，可设计 batch-aware ANN 接口：上游把所有改写 query 一起下发，索引层做协作遍历，而不是逐个查询独立执行，吞吐可提升数倍。
- GRPO、deep research 等多 rollout/子任务并发的 agentic search 场景，查询生成侧天然产生语义相近 batch，适合用该思路做底层检索加速，降低向量库成本。
面向高效近似最近邻搜索的邻近图索引无损压缩
🧭 向量检索 · HNSW 图索引压缩
ISTI-CNR · eBay Inc. · University of Pisa
通过离线图置换制造结构局部性，用 SIMD 整数压缩器快速解压 HNSW 邻接表，压缩率最高 52.7% 且延迟近零损失
📌 工作参考价值（4 点）
- 电商/广告向量召回中 HNSW 内存吃紧时，先定位边存储占比：若向量已量化、图边成为主要开销，可对邻接表做离线节点重编号，再使用 Stream VByte 等 SIMD 整数压缩器，在线边解压边遍历，基本不损失延迟。
- 关键 trick 是离线图置换：人为让邻接表内的 ID 分布更集中，能显著提升整数压缩器的压缩率；业务上可直接对 item/user embedding 的 HNSW 索引做同样的重编号，无需改召回精度。
- 如果已经在用 PQ/Scalar quantization，此方法可叠加使用，进一步降低 HNSW 整体内存，缩小索引集群规模或支持更大规模向量库。
- 工程落地优先选 SIMD 友好的解压器（如 Stream VByte），避免复杂熵编码带来的分支和延迟；上线前需重点验证查询 P99/P999 延迟，并做无损压缩以避免召回质量回退。
SOLO：基于扫描采样倒排列表的可认证召回相似性搜索
🧭 向量检索 · 可认证召回 ANN 索引
CICESE
SOLO 索引以无排序启发式的扫描倒排列表实现可证明召回，在 1GB 内存下 Deep-100M 召回 0.9977
📌 工作参考价值（4 点）
- 大规模向量召回的内存优化：在商品 embedding 库亿级甚至十亿级时，SOLO 的扫描式倒排索引只需少量字节/对象（如 10.7 字节）即可达到 0.9977 召回，远低于 HNSW/DiskANN 的内存下限；适合作为电商推荐召回的高性价比底座，尤其在内存受限的在线服务或边缘部署中。
- 可认证召回特性：SOLO 召回等于覆盖概率，可通过一次查询样本的 ground-truth pass 离线算出所有操作点，无需在线反复 A/B；可将召回 SLA 直接与索引参数绑定，降低质量风险。
- 动态更新友好：插入等于一次搜索、删除精确，相比 HNSW 的复杂删除和图维护，更适合商品频繁上下架、embedding 定期更新的场景；可简化索引运维。
- 结构可扩展：路由与扫描分离、叶节点扫描的设计便于与压缩/量化 embedding 结合，进一步节省内存；且路由器可递归索引，适合构建分层/多级召回。
EigenLI：用谱近似压缩晚交互检索
🧭 多向量检索压缩 · 谱方法 ★ 深度解读
Temple University · Microsoft Research India
利用文档 token 的低秩结构，以 top-k 特征子空间替代聚类压缩多向量表示，并可转成单向量 ANN 召回
📌 工作参考价值（4 点）
- 多向量召回（商品/内容/广告）可把每个文档 token 序列压缩为文档特定的 top-k 特征子空间，训练无关；相比 k-means/Ward pooling，构造更快（约 6.8x/17.5x），且在 ColBERTv2、AnswerAI 等模型上 nDCG@10 相对提升 8%–15%。
- EigenLI 评分可精确转成单向量点积：对 query token 做二次核 K(qi)，对文档 top-k 特征向量做 K(wj)，得到 d(d+1)/2 维向量，直接接入现有 ANN 系统；在 d=128 时维度 8256，比 MUVERA 10240 维更低，但 BEIR 上 nDCG@10 相对 MUVERA 提升 78.9%（AM）。
- 评分时不要用特征值加权，只用 top-k 特征向量；用 λ_j 加权会退化为所有 query-doc token 相似度求和，偏离 MaxSim，效果明显变差。
- 模型几何差异要作为模型选型依据：强各向异性模型如 GTE-ModernColBERT 上 EigenLI-32 不如 Ward pooling，可对 embedding 做去均值 centering 后再压缩，或对这类模型保留聚类方案。
图向量搜索的可扩展性：披着对数外衣的幂律
🧭 向量检索 · 图索引扩展性
University of Toronto
实测发现图向量搜索成本在数据规模小于内在维度时呈次线性幂律增长，之后才转入多对数增长，并给出统一理论模型
📌 工作参考价值（4 点）
- 容量规划：若数据规模 N 未达到由内在维度决定的临界点，搜索延迟/算力按 N^c（0<c<1）增长而非多对数；电商/推荐团队做向量库扩容预算时不能假设对数级成本，可用论文模型估计 c 和临界规模。
- 内在维度监控：数据集内在维度随规模增大而升高，导致查询邻域更密集；可在 embedding 上线前/后持续测量 intrinsic dimensionality，预测搜索成本拐点。
- 索引调参：论文提供预测不同 recall target 和索引配置下 power-law 指数的模型，可用来在 M、efSearch、efConstruction 等参数间做 cost-recall 权衡，适合高召回场景（广告召回、相关商品召回）提前规划。
- 评估方法借鉴：做 ANN 基准应跨多个数量级规模测试，而不是只在单点规模测量成本。
RSLM：面向近似最近邻搜索的训练自由向量量化
🧭 向量检索 · ANN索引量化 ★ 深度解读
Google Zurich · Technical University of Munich · University of Copenhagen · Google San Jose
训练自由的分块旋转量化方案，在1-4bit/维下保持召回，降低ANN索引内存与带宽
📌 工作参考价值（4 点）
- 在 IVF/树型索引的 rescoring 阶段，用训练自由旋转量化（尤其相对残差量化）替代 trained PQ/SQ，可省去离线 k-means 训练，快速接入新 embedding 版本或新业务数据集；4-bit RelApproxGlobal 在多个数据集达到 100% recall@20@30，2-bit 达 99%+ recall@20@40，适合 RAG/推荐候选召回的大候选池。
- 采用 block-wise FWHT（块大小 128）实现 O(D) 旋转复杂度，避免 dense rotation O(D^2) 和全局 FWHT 的维度 pad 问题；在非标准维度如 2049 时，编码吞吐比 TurboQuant 快约 36 倍（128k vs 3.5k items/s），适合线上实时 query 预计算。
- 显式校正最终重建向量的 L2 norm（而非只校正残差）对 MIPS 排名很重要，能替代 ScaNN anisotropic loss 的调参；实现时用 2 字节自定义浮点 UE7M9 存 scale，Rslm4Lite 把 scale 隐写到前 16 维的最高 bit，实现零额外元数据，内存对齐更优，吞吐显著提升。
- 在低 bit 场景（1-2 bit）Rslm_Global 超过 Faiss PQ 和 ScaNN AVQ，说明固定 codebook + 旋转 + 全局 norm 校正是一个可复用的低带宽候选评分方案；但注意低维数据增加 scale 存储占比（如 glove 100d 1-bit 增加 15%），更适合高维 embedding。
面向动态时间戳感知最近邻搜索的版本化统一图索引
🧭 时间感知向量检索加速
Rochester Institute of Technology
TiGER 用版本化统一图支持任意时间区间 ANN 查询，无需过滤或分段子图，QPS 提升 5 倍
📌 工作参考价值（4 点）
- 时效性召回加速：电商推荐中经常需要按时间范围过滤商品/内容向量（如近期上新、近 N 天行为），TiGER 的统一图结构可直接查询任意时间区间，避免 post-filtering 造成的召回缺失或延迟，适合做实时召回层。
- 动态向量库无需反复重建：商品 embedding 频繁增删，传统分段子图需维护多张图或重建；TiGER 的版本化连通性支持动态更新，可降低流式更新成本。
- RAG/Agent 场景的时间敏感检索：在 Agent 工作流中，需要检索“最近发生”的文档或事件，TiGER 可作为底层向量索引，提升时间过滤场景下的检索效率，避免先召回再过滤的性能损耗。
- 工程实现启发：如果业务中已用 HNSW 等图索引，可以考虑引入版本化边/节点管理，避免为每个时间范围单独建图，减少内存与同步开销。
保持索引开放：共享搜索与推荐系统的推荐侧成本
🧭 双塔检索 · 冷启动与统一索引 ★ 深度解读
Amazon Web Services
量化双塔架构在统一搜索推荐索引中的推荐侧损失与冷启动收益，揭示训练目标的质量-规模权衡
📌 工作参考价值（5 点）
- 双塔架构同时服务搜索和推荐，新物品通过特征编码零样本打分，无需重训即可加入索引，适合电商新品冷启动；ID-softmax 模型需要重训才能覆盖新物品，工程上不可接受。
- 训练目标选择至关重要：full-softmax cross-entropy 比 sampled InfoNCE 在小目录上显著提升召回（MIND-small +54%，ML-1M +6.9%），但显存随目录线性增长，10万级目录即 OOM。实践中可按目录规模选择：<1万用 exact full-softmax，更大规模用采样负样本并做修正。
- 冷启动评估应使用严格 zero-leakage item holdout 协议，避免信息泄漏；特征塔 + 冷冻 CF 融合（简单标量加权）即可同时获得冷启动和暖启动双优，无需额外训练。
- 检查数据 pipeline 中的时间戳精度：float32 量化可能静默改变 LOO 目标，建议用整数时间戳并加 build gate 校验，否则跨模型比较不公平。
- 百万级以下目录，exact full-catalog scan 延迟已足够低（<30ms），ANN 近似索引没有收益且损失召回；超过百万再考虑 IVF-PQ/HNSW，但要关注索引召回对最终指标的影响。
超图嵌入索引：高效稠密向量检索
🧭 向量检索 · 倒排索引
Sodhana
HEI 按高激活潜维度组合组织文档，用倒排索引生成候选并保留语义排序
📌 工作参考价值（4 点）
- 在电商向量召回中，可将商品/用户 embedding 的高激活维度组合构造成倒排索引，替代或混合 HNSW，降低线上粗排阶段延迟与内存占用；适合作为大规模候选生成层。
- 采用多个互补超图（不同维度子集、不同激活阈值、不同语义簇）做多路召回，再融合重排，能提升长尾商品或冷门内容的覆盖，避免单超图维度增加带来的组合爆炸。
- 引入 activation diversity 作为诊断指标：评估当前训练出的 embedding 是否适合坐标倒排索引；若 diversity 低，可考虑加稀疏正则、维度解相关或调整训练目标，使向量更可索引。
- 该框架对 embedding 的稀疏/高激活特性有依赖，在业务中可先对已有向量做激活分布分析，判断是否值得迁移到倒排索引路线。
QASP：查询自适应鲁棒向量搜索策略
🧭 查询自适应向量搜索策略 ★ 深度解读
Amazon
通过学习预测每个查询的召回进度曲线，以极低推理开销实现查询自适应搜索，显著降低方差与数据访问。
📌 工作参考价值（4 点）
- 用回归预测召回曲线替代直接预测探测数：训练一个轻量模型预测任意探测数下的累积召回，再通过阈值得到探测数，可获得更丰富的监督信号（每查询L个标签），且支持跨召回目标泛化。在生产环境中，可以作为推荐系统向量召回（如 Faiss IVF）的查询自适应模块。
- 归一化、尺度不变特征设计：特征如相对距离（tanh(d(q,μ_l)/d(q,μ_1)-1)）、基于质心的局部固有维度、累积簇大小比例等，将查询难度与索引特性编码为统一形式，可直接迁移到其他向量搜索设置。
- 反应式校准机制不必重新推理：利用预测的逐簇增量召回率，在搜索时用 EWMA 监控实际发现率，若连续低于预测则提早终止，高于则延长搜索，作为安全网，不需额外模型调用，实现起来轻量高效。
- 极轻量模型便于大规模部署：QASP-DL 仅 1.5K 参数，内存 6-7 KB，吞吐 124K qps，可在 CPU 上批量推理，对搜索延迟影响极小。该模式适合在现有向量检索引擎中作为预处理步骤集成。
基于拍卖机制的向量搜索聚类索引方法 CwA
🧭 向量检索索引优化 · 拍卖分配簇
Meta FAIR
联合学习平衡分区与神经探测函数，通过拍卖算法优化查询分布下的检索吞吐，OOD 场景提升 4.7 倍吞吐
📌 工作参考价值（4 点）
- 电商搜索推荐中查询与商品嵌入分布常不同（OOD），CwA 可针对性优化索引，在相同召回下大幅提升吞吐，直接降低线上检索成本。
- 拍卖算法保证分区的均衡性，适合大规模商品向量索引，避免热点簇，减少尾部延迟。
- 即使线性探测函数也能在 ID 场景超越深度方法，工程上更易部署和推理，可优先尝试轻量模型。
- 笛卡尔积簇扩展能柔性增加分区粒度，便于在亿级商品库中控制扫描比例与召回平衡。
Flash-GMM：用于可扩展软聚类的内存高效 GPU 内核
🧭 大规模 GPU GMM 聚类加速
IBM Research
提岀 Flash-GMM，通过 Triton 内核融合避免显存实现完整责任矩阵，实现 20 倍加速，支持单卡训练百倍更大数据集。
📌 工作参考价值（4 点）
- 用 GMM 软聚类替代 k-means 做 IVF 粗量化：利用 GMM 的责任度将边界向量分配给多个簇，相比 k-means 硬分配，在相同召回下可减少最高 1.7× 的距离计算量，或同等计算预算下提升 recall@10 2~12 个点，适合召回阶段的向量检索优化。
- 单卡训练超大规模聚类模型：Flash-GMM 避免了显存中 N×K 责任矩阵的实例化，能在单块 A100 (80GB) 上直接训练多达 1 亿向量、1024 个簇的 GMM，为十亿级物品库的索引构建提供可能。
- 融合核与工程实现：整个 EM 迭代在一个 Triton kernel 中完成，无需存储中间矩阵，可作为即插即用的模块集成到现有 GPU 向量检索管线，显著降低内存压力并提升训练吞吐。
- 扩展软分配思想：在多模态 / 语义 ID 场景，可借鉴 GMM 的责任度作为软标签，为物品生成多个语义簇归属，替代独热分配，提升生成式推荐的聚类表达能力。
面向高维ANN的无指针切空间分层搜索方案
🧭 近似最近邻搜索 · 向量索引与缓存优化
Substratum Labs
用局部切空间降维与无指针Block-SoA布局替代图索引，实现3.6倍提速与近乎零缓存缺失。
📌 工作参考价值（4 点）
- 电商推荐系统的向量检索引擎可借鉴“聚类-局部 PCA-无指针扫描”策略：将物品 embedding 按簇划分，簇内用少数主成分重建，避免全量高维点积，同时利用 Block-SoA 布局提升 SIMD 效率，减少缓存失败。
- Agent 需要瞬时零拷贝分支与快照时，可参考 HNTL 将向量数据组织为只读 Block-SoA，配合分层索引实现轻量级版本切换，无需复制大量指针图。
- 在高并发场景下，无指针的连续内存布局比图遍历更 CPU 流水线友好，可直接迁移到 Rust/C++ 推理服务中减少停顿，实现每向量 < 5ns 的扫描性能。
- 当新物品增量加入时，只需更新局部 PCA 基即可保持高召回，适合推荐 embedding 频繁更新的环境。
分布近似最近邻搜索：面向不确定性感知的检索
🧭 推荐系统 · 向量检索与探索 ★ 深度解读
aampe · Antwerp, Belgium
在 ANN 索引中为每个物品采样多个嵌入副本，用不确定性隐式驱动检索阶段的探索，大幅提升长尾覆盖
📌 工作参考价值（4 点）
- 直接在 Faiss 等现有 ANN 索引上实现：每个物品预先采样多个嵌入加入索引，查询时也采样用户嵌入并检索去重，无需修改模型或索引后端，即可将嵌入不确定性转换为长尾物品的曝光机会。
- 自适应采样预算：对冷门、高不确定性的物品分配更多样本（如 S=2~10），头部物品保持单样本，可有效控制索引膨胀，同时将探索算力集中在需要曝光的尾部。
- 用交互计数简单构造“合成后验”：令 σ_i ∝ 1/(1+n_i)^γ，以此从点估计中生成模拟贝叶斯不确定性的噪声样本，低成本实现类似汤普森采样的检索阶段探索。
- 将精确度损失交由下游排序模型吸收：候选生成阶段允许少量 top-K 精度下降，换取覆盖率的数倍提升，后续排序器可以利用丰富特征对新增的探索候选重排，整体 pipeline 收益明显。
近似最近邻搜索：召回并非一切，距离比才是关键
🧭 ANN 检索质量评估：从重叠度到距离比
University of Ioannina & Archimedes, Athena RC
提出用逆近似比 1/Ratio@k 替代 Recall@k 评估 ANN 质量，更真实反映下游效用且节省计算
📌 工作参考价值（4 点）
- 在生产 ANN 召回评估中，用 1/Ratio@k 代替 Recall@k 调优索引参数，可在下游分类或 RAG 效果不降的前提下大幅提升 QPS 或降低计算成本。
- 推荐系统和 Agent 检索链路中，当业务指标对检索噪声不敏感时，可主动降低对 Recall@k 的要求，转而监控距离比，以换取更高吞吐和更低延迟。
- 离线基准测试或 CI/CD 流程中，1/Ratio@k 无需人工标注、仅依赖查询向量和距离，易于工程化实现，可作为自动化质量关卡。
- 选型 ANN 算法时，关注不同索引在相同 1/Ratio@k 下的吞吐差异，能更直接地预测线上真实性价比，避免为虚高的 Recall 浪费资源。