RemoteANN：面向云对象存储的原生向量搜索引擎
🧭 云对象存储上的向量检索系统 ★ 深度解读
Nanyang Technological University · ByteDance
通过 IVF+RaBitQ 量化与数据重排序、请求合并等协同设计，大幅降低云对象存储向量搜索的 I/O 与 API 请求成本
📌 工作参考价值（5 点）
- 若将大规模 embedding 卸载到 S3 等对象存储以降低存储成本，应优先采用 IVF 类索引而非图索引：图索引多跳路由会叠加网络 TTFB，IVF 单轮拉取候选簇更适合高延迟远程存储。
- 借鉴 RaBitQ 量化思路：将向量压缩为 1-bit prefix 常驻内存用于粗筛和距离估计，其余低精度码放远程存储，可大幅减少远程请求，适合嵌入召回的大规模粗排阶段。
- 数据重排序 + 请求合并是降低 API 调用费用的关键：对簇按质心最近邻路径排序（近似 Hamiltonian path），簇内按到质心距离排序，使查询目标范围局部集中，再用动态规划合并 Range-GET 请求，可迁移到任何按请求计费的远程数据读取场景。
- 本地 NVMe SSD 缓存采用自适应阈值：当请求范围大于阈值时整簇下载填充缓存，平衡带宽与缓存命中率，适合电商热门商品/用户 embedding 的冷热分层访问。
- QGKMeans 用 SymphonyQG 加速 k-means 质心分配，索引构建时间可降低数倍，适用于需要频繁重建向量索引的业务（如商品库更新、A/B 测试多版本索引）。
SeqMoE：预测式与图兼容 MoE 卸载实现近满载性能
🧭 MoE 推理卸载 · 预测式专家预取
University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China
通过序列建模预测专家激活，结合联合预取调度与图兼容运行时，实现 45% 常留下 96.97% 命中率和 80.22% 满载性能
📌 工作参考价值（4 点）
- 若业务使用 MoE 架构 LLM（如 Mixtral、DeepSeek-MoE）做 query 改写、文案生成或 Agent 工具编排，可参考 SeqMoE 的专家激活序列预测：只让约 45% 的 expert 常驻显存，仍能获得约 80% 的 full-load 性能，适合在显存受限 GPU 上部署大规模 MoE 推理服务。
- 将“下一步需要加载哪些 expert”建模为序列预测问题，类似推荐中的 next-item prediction，可以用轻量 decoder 输出多步、多层的 expert ID 序列，比按层独立 LRU 更精准，能直接迁移到 LLM serving 的预取模块。
- 联合预取调度可形式化为 Job Sequencing with Deadlines：把 PCIe/NVLink 带宽作为约束、各 token 的 expert 需求作为 deadline，统一调度一批请求的 expert 加载，能显著提升带宽利用率；在 Continuous Batching 场景下可以复用这一思想。
- 图兼容 runtime 的做法值得工程实现借鉴：将 expert 放置与计算解耦，避免预取引入依赖同步，从而能用 CUDA Graph 捕获端到端执行路径，减少 kernel launch overhead；不过动态 MoE routing 会加大图捕获复杂度，需在 serving 框架里做静态化或部分捕获。