潜在核心分词器：压缩，但要有意义
🧭 多语言 tokenizer 结构发现与词表构建
Microsoft Research Africa · Microsoft Research Accelerator · Microsoft Research India
提出 LCT 将结构发现与词表构建解耦，用形态约束提升多语言分词质量
📌 工作参考价值（3 点）
- 多语言电商/搜索场景若自建或扩展 tokenizer，可把结构发现与词表构建解耦，用 MDL/熵边界/形态约束代替纯 BPE frequency merge，优先保障低资源语言可复用单元。
- 用 fertility 和 MorphScore 评估现有 tokenizer 的语言公平性；对高 fertility 语言做定向词表扩展或 capacity 重分配，可降低线上 LLM 推理成本。
- 生成式推荐/推送文案涉及多语言时，词表质量直接影响序列长度与表示质量；LCT 的结论说明分配词表 capacity 要考虑语言形态结构，而非仅语料频率。
每种语言各用其 tokenizer：面向高效多语言 LLM 的模块化 tokenizer
🧭 多语言模块化 tokenizer 与高效训练
Kyutai · Sorbonne Université · CNRS · Univ. Grenoble Alpes · Grenoble INP
提出模块化多语言 tokenizer 与预训练策略，可按语言子集提取子词表并动态使用，降低内存并加速推理
📌 工作参考价值（4 点）
- 部署多语言 LLM 服务（国际化电商搜索、海外广告文案生成）时，可为高频语言子集抽取轻量 subtokenizer，只保留对应子词表，大幅缩小 embedding / output 矩阵，降低内存占用与推理延迟，尤其适合小模型或边缘场景。
- 模块化 tokenizer 思路可迁移到多领域/多场景文本：按业务类目、品牌、商品描述等定制子词表，训练或推理时动态激活子 vocab，减少大而全词表的冗余计算。
- 预训练中按 batch 采样 subtokenizer 并将预测限制在相关词汇子集，既能保持大词表覆盖，又能降低 softmax 开销；可参考用于多任务、多场景 LLM 的训练优化。
- 该方法本质是 tokenizer 与 embedding 层的基础优化，若你的业务使用 LLM 做生成式推荐或 QueryRec，且面临多语言、大词表成本问题，可借鉴其模块化设计；否则业务可借鉴点有限。