Tokenization with Split Trees
基于分割树的子词分词方法ToaST
🧭 分词优化 · 子词压缩
Kensho Technologies · Ben-Gurion University · MIT
通过递归分割树与整数规划直接优化压缩率，大幅减少token数量并提升下游性能
📌 工作参考价值（4 点）
- 分词压缩率提升11%+，可降低推理成本、延长有效上下文，适合大规模文本处理或LLM驱动的电商描述生成、对话系统
- 词表选择建模为整数规划，用LP松弛获得近最优解，这一思路可借鉴到推荐场景的特征离散化或Semantic ID编码优化
- 递归分割树结构天然支持自回归推理中的动态分词决策，可探索与生成式推荐的树形索引结合，提升编码效率
- Rényi效率大幅提升，意味着稀有token使用更均衡，可能减少OOV问题，适用于多语言电商场景或罕见商品名称编码