#scalability

6 篇

A Power Law in Logarithm's Clothing: On the Scalability of Graph-Based Vector Search

图向量搜索的可扩展性：披着对数外衣的幂律

🧭 向量检索 · 图索引扩展性

University of Toronto

实测发现图向量搜索成本在数据规模小于内在维度时呈次线性幂律增长，之后才转入多对数增长，并给出统一理论模型

📌 工作参考价值（4 点）

容量规划：若数据规模 N 未达到由内在维度决定的临界点，搜索延迟/算力按 N^c（0<c<1）增长而非多对数；电商/推荐团队做向量库扩容预算时不能假设对数级成本，可用论文模型估计 c 和临界规模。
内在维度监控：数据集内在维度随规模增大而升高，导致查询邻域更密集；可在 embedding 上线前/后持续测量 intrinsic dimensionality，预测搜索成本拐点。
索引调参：论文提供预测不同 recall target 和索引配置下 power-law 指数的模型，可用来在 M、efSearch、efConstruction 等参数间做 cost-recall 权衡，适合高召回场景（广告召回、相关商品召回）提前规划。
评估方法借鉴：做 ANN 基准应跨多个数量级规模测试，而不是只在单点规模测量成本。

Other | 2026-09-02 | cs.IR | score 7/10

Scaling Graph Neural Networks for Friend Recommendation: Multi-Hash User Embeddings and Temporal Neighbor Sampling

大规模好友推荐图神经网络：多哈希用户嵌入与时序邻居采样

🧭 大规模图神经网络 · 多哈希嵌入与时间邻居采样 ★ 深度解读

AI VK

用多哈希嵌入压缩98% ID表、以timestamp-sorted CSR+二分搜索加速时序邻居采样，线上好友添加提升16%

📌 工作参考价值（4 点）

高基数 ID 特征可优先尝试 multi-hash：用 k=3 个独立哈希映射到共享表 B=2^21、d=256，拼接后线性投影，ID 表从 203GB 降到 2GB，且离线 ROC-AUC 略高于 full table（0.6278 vs 0.6246），存在隐式正则化收益。电商/广告中的用户 ID、店铺 ID、类目交叉等高基数特征可复用此套路。
时序图训练务必做时间邻居采样，否则未来边泄漏导致明显掉点（本文 ROC-AUC 降 0.037）。工程上用 timestamp-sorted CSR + lower_bound 二分搜索定位有效前缀再采样，将每 batch 采样时间从 1473ms 降到 595ms，接近非时序成本。对用户行为序列、社交/互动图等动态图尤其有用。
大规模图训练采用 CPU 采样与 GPU 训练解耦的 producer-consumer 流水线，CSR 索引用 32-bit 存邻居 ID 和时间戳、64-bit 存 offset，可把 225GB 图压缩到单机 8×A100 可承载；资源受限团队可直接借鉴该存储与调度方案。
GNN 在线推理成本高，可改为周期性离线刷新用户嵌入，服务时作为特征供下游 GBDT ranker 读取；同时用 query/candidate 双头区分同一用户作为请求方与候选方的不同角色，该技巧对双塔召回/排序也有迁移价值。

RecSys | 2026-08-27 | cs.IR | score 8/10

GNN friend recommendation multi-hash embeddings temporal neighbor sampling industrial recommender scalability

Listwise Cross-Encoder Fine-Tuning vs. Agentic Instruction Tuning for LLM Rerankers: A Systematic Study in Medical Procedure Reranking

列表级交叉编码器微调与代理式指令微调的LLM重排序对比研究

🧭 重排序系统 · 小模型微调 vs 大模型指令调优

Healthee

109M参数的交叉编码器微调ListNet后，NDCG@3比4B指令重排序模型高2.6点，参数仅1/37

📌 工作参考价值（4 点）

在电商搜索/推荐重排序中，若资源及延迟敏感，可优先考虑小参数交叉编码器+ListNet 微调，性能可能反超大模型。
利用 GPT-4 等大模型自动构建查询-商品/文档对的数据集管道，可低成本构建领域训练数据。
代理式提示优化（agentic prompt optimization）的思路可迁移至推荐系统提示工程，自动化调优 LLM 重排序器的提示词。
部署时权衡延迟——小模型推理成本低，适合实时重排序；大模型可留作离线评估或数据生成。

RecSys | 2026-08-10 | cs.IR | score 7/10

reranking cross-encoder instruction tuning listwise LTR medical IR scalability

Spectral Biclustering-Driven Scalability for Post-Hoc Explainability in Recommender Systems

谱双聚类驱动的可扩展后验推荐系统解释方法

🧭 推荐解释性 · 块删除诊断

CUNEF Universidad, Madrid, Spain · Universidad Politécnica de Madrid, Madrid, Spain

提出用谱双聚类将用户-物品分块，以块删除诊断替代逐个观察删除，在保持后验解释能力的同时大幅降低重训练成本

📌 工作参考价值（3 点）

块删除诊断作为线下模型探查工具：在电商推荐场景中，可以用谱双聚类将用户分群、商品归类，然后对每个交互块执行删除并重训练，以发现模型是否过度依赖某些“用户×商品”局部模式（如刷单集中、季节性爆款），提前识别脆弱点。
可解释性报告生成：对于运营或业务方，可以用块级解释代替个体解释，例如：“30-40岁女性×母婴品类”这个块对高排名推荐有支撑作用，移除后Top-10命中率下降15%，即能说明该群体对母婴推荐信号的依赖，辅助制定品类策略。
计算成本固定的后验分析管道：该方法将重训练次数从O(N)降至O(k²)（k为块数），可以固定分析预算。实际落地时，可根据预算选择块数，实现可调的分辨率-效率权衡，适合百万级用户-物品矩阵的周期性诊断。

RecSys | 2026-07-21 | cs.IR | score 6/10

post-hoc explainability spectral biclustering block-deletion scalability model-agnostic

SlimPer: Make Personalization Model Slim and Smart

让个性化模型更轻量更智能

🧭 个性化排序模型轻量化与深度缩放

将个性化排序重构为紧凑知识库的迭代精炼，实现 O(N) 每层成本，解耦深度与用户历史长度

📌 工作参考价值（4 点）

紧凑中间表示解耦深度与序列长度：借鉴 SlimPer 固定大小的知识库表示，在电商推荐中可串联更深网络而不显着增加计算与内存，便于扩展更细粒度的用户行为建模。
请求级优化共享用户特征：对同一请求中多个候选商品，只维护一份用户侧 token，大幅减少显存占用，适合高并发在线广告/推荐服务。
显式多模态匹配打分：在注意力中直接计算用户与商品 token 的匹配分数，可迁移到搜索广告中，在粗排或精排阶段提供可解释的相关性信号。
统一稀疏稠密序列特征：将账户画像、实时行为与长期序列统一 backone 处理，简化特征工程与模型部署，适合大促场景下多类型特征快速融合。

RecSys | 2026-07-14 | cs.IR | score 10/10

personalization transformer scalability user modeling Instagram recommendation

TabPFN-3: Technical Report

TabPFN-3: 大规模表格基础模型的速度与性能突破

🧭 表格基础模型规模化与推理加速

Prior Labs

基于合成数据预训练的表格基础模型，通过测试时计算扩展和工程优化，在多种表格任务上超越调优集成方法，速度提升20倍

📌 工作参考价值（4 点）

合成数据预训练范式可迁移至电商推荐特征工程：不依赖真实标签，用先验生成大量多样化表格数据训练基础模型，冷启动场景潜力大。
测试时计算扩展（Thinking模式）思路可借鉴至推荐模型推理阶段：对复杂样本动态分配更多前向次数或集成，以可控计算成本换取显著效果提升，适合高价值决策场景。
工程优化直接复用：通过缩减KV缓存和row-chunking支持百万行数据单卡推断，可应对推荐系统海量用户-物品交互数据。
SHAP值计算加速120倍：若业务需用SHAP进行模型可解释性分析，可参考其KV缓存复用策略，大幅降低线上或离线归因耗时。

RecSys | 2026-05-13 | stat.ML | score 7/10

tabular foundation model test-time compute scaling KV cache synthetic data AutoML scalability