#on-device

5 篇

Selection Is Retrieval, Abstention Is Not: On-Device Tool Routing over 70 Korean-English Actions

选择是检索，拒绝不是：70个韩英动作的设备端工具路由

🧭 设备端工具路由 · 检索与拒绝分离

Redrob

拆分工具路由中的“选择”与“拒绝”决策，证明选择可用检索器、拒绝需神经编码器，设备端可省去大模型

📌 工作参考价值（4 点）

在设备端或低延迟 Agent 场景，把工具选择与“是否拒绝/委托”拆成两阶段：先用轻量检索器（如字符 3-gram BM25）选出候选动作，再用一个冻结编码器（如 multilingual-e5）做 out-of-catalog 判断，避免让大模型同时做两件事带来的延迟和内存开销。
如果业务中有“本地动作目录”或固定工具的 Agent 路由，可先基于 lexical overlap 做召回：对于规范表达或关键词命中的请求，BM25 几乎全对；转述/同义表达则丢得较多，可限制候选集到 top-7 再做重排或接一个小型语义判别器，性价比高于直接用大模型。
对“是否该本地处理还是委托给远端/大模型”的决策，不要依赖分类器在检索得分特征上做阈值：论文表明这样做 AUC 上限仅 0.697，而冻结编码器的语义得分可达 0.806。建议直接复用轻量 sentence encoder，成本低且能显著减少误委托。
工程落地时注意：neural ranker 虽然所有质量指标更好，但常因延迟和内存被拒。若需在端上引入语义模型，优先考虑量化、蒸馏或小模型，并只用于 abstention 阶段，而非全量排序。

Agent | 2026-09-16 | cs.CL | score 7/10

omni-macos：Apple Silicon上的端侧全模态搜索引擎

🧭 设备端全模态隐私搜索

Jina AI by Elastic

在Mac本地运行全模态语义搜索引擎，数据不出设备，通过内存预算与增量索引保证实时交互。

📌 工作参考价值（4 点）

Multimodal | 2026-08-06 | cs.IR | score 7/10

预训练 LLM 的原地分词器扩展方法

🧭 LLM 分词器工程 · 多语言高效推理

Liquid AI

通过继续 BPE 合并和两阶段微调，无需重训即可扩展分词器，将低资源语言 token 数压缩 2-4 倍，解码提速 2.2-3.7 倍

📌 工作参考价值（4 点）

Training | 2026-07-16 | cs.LG | score 6/10

小模型大作为：探索紧凑语言模型在 RAG 生成阶段的潜力

🧭 小型语言模型 RAG 生成器基准与设备端部署

Siberian Neuronets LLC, Novosibirsk, Russia

系统评估小型语言模型在 RAG 生成器的表现，证明其可在无 GPU 的设备端合理时间运行

📌 工作参考价值（4 点）

低成本 / 边缘端 RAG 部署：在电商客服、商品问答等场景，可用 SLM 替代 LLM 作为生成器，直接运行在智能终端或本地服务器，避免 GPU 成本，保障数据隐私。
生成器选型 benchmark 方法：复用其多数据集（开放/专有、不同主题与问题类型）评估框架，为业务中的 RAG pipeline 快速筛选合适的轻量生成模型。
延迟优化参考：论文验证了 SLM 在无 GPU 硬件下的推理时间仍在可接受范围，可指导搜索推荐系统中实时类 RAG 应用（如解释性生成）的时延可行性评估。
检索与生成能力解耦测试：聚焦仅更换生成器模型的效果，类似思路可应用到推荐理由生成、广告文案自动改写等模块，独立评估不同 SLM 的文本生成质量。

RAG | 2026-06-28 | HF Daily | score 6/10

执行状态胶囊：面向低延迟设备端物理AI服务的图绑定检查点与恢复

🧭 图绑定执行状态复用 · 低延迟LLM推理

提出图绑定执行状态胶囊，将LLM推理复用从KV片段提升至全状态边界，实现亚毫秒级快照/恢复与27倍TTFT加速

📌 工作参考价值（4 点）

LLM | 2026-06-18 | cs.LG | score 7/10