Latent Core Tokenizer: Compress, but Meaningfully
潜在核心分词器：压缩，但要有意义
🧭 多语言 tokenizer 结构发现与词表构建
Microsoft Research Africa · Microsoft Research Accelerator · Microsoft Research India
提出 LCT 将结构发现与词表构建解耦，用形态约束提升多语言分词质量
📌 工作参考价值（3 点）
- 多语言电商/搜索场景若自建或扩展 tokenizer，可把结构发现与词表构建解耦，用 MDL/熵边界/形态约束代替纯 BPE frequency merge，优先保障低资源语言可复用单元。
- 用 fertility 和 MorphScore 评估现有 tokenizer 的语言公平性；对高 fertility 语言做定向词表扩展或 capacity 重分配，可降低线上 LLM 推理成本。
- 生成式推荐/推送文案涉及多语言时，词表质量直接影响序列长度与表示质量；LCT 的结论说明分配词表 capacity 要考虑语言形态结构，而非仅语料频率。