Little Brains, Big Feats: Exploring Compact Language Models
小模型大作为：探索紧凑语言模型在 RAG 生成阶段的潜力
🧭 小型语言模型 RAG 生成器基准与设备端部署
Siberian Neuronets LLC, Novosibirsk, Russia
系统评估小型语言模型在 RAG 生成器的表现，证明其可在无 GPU 的设备端合理时间运行
📌 工作参考价值（4 点）
- 低成本 / 边缘端 RAG 部署：在电商客服、商品问答等场景，可用 SLM 替代 LLM 作为生成器，直接运行在智能终端或本地服务器，避免 GPU 成本，保障数据隐私。
- 生成器选型 benchmark 方法：复用其多数据集（开放/专有、不同主题与问题类型）评估框架，为业务中的 RAG pipeline 快速筛选合适的轻量生成模型。
- 延迟优化参考：论文验证了 SLM 在无 GPU 硬件下的推理时间仍在可接受范围，可指导搜索推荐系统中实时类 RAG 应用（如解释性生成）的时延可行性评估。
- 检索与生成能力解耦测试：聚焦仅更换生成器模型的效果，类似思路可应用到推荐理由生成、广告文案自动改写等模块，独立评估不同 SLM 的文本生成质量。