#Scalability

6 篇

Efficient Clustering with Provable Guardrails for LLM Inference at Scale

大规模LLM推理的可证明安全高效聚类

🧭 高效聚类 · LLM推理加速 ★ 深度解读

Amazon

两阶段聚类通过贪心集合覆盖确保每用户与代表相似度达标，实现50倍LLM推理成本缩减

📌 工作参考价值（4 点）

当需要对海量用户接入LLM时，先用Mini-batch K-Means粗分，再在各簇内贪心选取代表，强制相似度≥α且属性完全匹配。该策略复杂度$O(n^2 d/K)$，调大初始簇数$K$可线性加速并降内存，适合千万级用户场景。
贪心选择的簇大小高度偏斜，可主动丢弃长尾小簇（例如仅保留4%的簇覆盖90%用户），进一步压缩下游推理量，配合上游过采样补偿掉落的用户。
对合规属性（如年龄、性别）直接在匹配矩阵中要求相等，提供可证明保证，杜绝跨属性推荐风险，适合电商推荐中安全滤波环节。
生产验证表明用户-代表embedding相似度与推荐相关性高（Pearson r=0.781），可直接用相似度阈值替代代价高昂的LLM评估，节省质量评估成本。

RecSys | 2026-07-22 | stat.ML | score 10/10

基于BERT与候选参与的对话状态跟踪

🧭 对话状态跟踪 · 零样本迁移

OneConnect US Research Institute

利用预训练BERT和候选注意力实现多领域零样本对话状态跟踪，显著提升可扩展性

📌 工作参考价值（4 点）

零样本领域迁移：在电商客服或购物助手中，新产品类别（如新增家电品类）无需重新标注对话状态数据，直接用预训练BERT编码schema即可上线，大幅降低冷启动成本。
候选注意力机制：对schema中的每一个槽位候选值进行打分，该设计可复用于推荐系统的多意图识别或槽位填充，例如在商品搜索中同时判断用户指定的品牌、价格区间等约束条件。
轻量工程实现：整个模型仅基于BERT微调，不依赖复杂本体或额外知识库，适合快速集成到现有对话Agent架构中，作为可插拔的DST模块。
跨域泛化验证：在SGD数据集上平均目标槽准确率达到88.7%，较基线提升15个点以上，证明预训练语言模型在结构化对话理解上的迁移潜力，可推广至任务型搜索代理（如机票/酒店比价Agent）。

Agent | 2026-07-17 | cs.CL | score 6/10

验证的边界：编码智能体奖励没有万能解

🧭 Agent奖励设计 · 验证信号共同演化

Qwen Team

论证验证信号需兼具可扩展性、忠实性与鲁棒性，四种奖励构建实验指出验证必须与生成器协同演化

📌 工作参考价值（4 点）

在推荐/广告排序模型优化中，离线代理指标（如CTR预估）常偏离真实业务目标，可借鉴可扩展–忠实–鲁棒三维框架，定期用用户直接反馈（类似论文“用户作为验证器”）校准奖励，防止过拟合代理指标。
生成式推荐（如Semantic ID生成）场景，生成器与验证器应联合迭代更新，防止固定验证标准导致的奖励黑客；可引入自动渐进验证器，随生成能力提升动态调整评估维度。
多智能体协作推荐中，对开放意图的用户Query，可采用类“rubric verifier”思路，将模糊需求分解为多个可自动检查的子指标（如多样性、时效性、相关性），提升验证信号鲁棒性。
长周期购物助手Agent任务中，可设计自动化验证Agent监控并分段评估推荐链路的中间步骤，降低人工评估成本，同时保持信号忠实性。

Agent | 2026-06-23 | HF Daily | score 6/10

Stellar：面向自然语言查询的可扩展多模态文档检索

🧭 多模态检索 · 高效延迟交互

通过词法过滤与磁盘驻留延迟交互，将多模态检索的内存和延迟降低1-2个数量级且效果不降。

📌 工作参考价值（4 点）

RAG | 2026-06-18 | cs.IR | score 6/10

将评判逻辑代码化：通过程序蒸馏实现可扩展评估

🧭 评估 · 程序蒸馏

University of Wisconsin-Madison

将LLM评判逻辑蒸馏为可解释的程序委员会，实现低成本、透明评估，匹配13B模型性能，并产生廉价奖励信号

📌 工作参考价值（4 点）

在推荐系统的离线评估或奖励信号生成中，可借鉴程序蒸馏思路：用少量 LLM 标注数据蒸馏出可解释的程序化评判器，替代昂贵 API，大幅降低标注成本（如 reward model 训练）。
程序委员会聚合和置信度回退路由可迁移到多模型融合场景：多个简单规则/模型组成委员会，低置信度样本自动升级至复杂模型，平衡成本与质量。
程序化评判透明可编辑，适合电商推荐中需要业务解释性的场景：评估标准（如“推荐理由是否吸引点击”）可直接编码为规则，方便运营调整。
用于 reward model 蒸馏时，程序标签成本仅为专有 LLM 的 1/100，且性能更优，可为推荐系统的生成式奖励训练提供高效方案。

Eval | 2026-05-28 | HF Daily | score 7/10

VGGT-Ω：可扩展的前馈三维重建模型

🧭 可扩展多视角重建与空间理解