#Cross-Tokenizer

3 篇

Rethinking Cross-Tokenizer On-Policy Distillation: From Alignment Coverage to Supervision Reliability

跨分词器在线策略蒸馏再思考：从对齐覆盖到监督可靠性

🧭 跨 tokenizer 蒸馏优化 ★ 深度解读

Alibaba Cloud Computing

跨 tokenizer 在线蒸馏中，严格 1:1 对齐已覆盖多数 token；学生选 top-16 共享词表即可保留大部分收益，补 mismatch span MSE 反而降精度

📌 工作参考价值（4 点）

做跨 tokenizer / 跨模型蒸馏时，可先只对严格 1:1 对齐位置做 shared vocabulary 上的 reverse KL，并让学生自选 top-k（如 top-16）词表子集；这能压缩计算和显存，同时保留大部分蒸馏收益。适合生成式推荐中不同 tokenizer 的 Semantic ID 序列蒸馏。
新增辅助监督（如 mismatch span MSE、多任务损失）前，先做梯度方向与相对幅度诊断：计算 g_mis 与 g_strict 的 cosine 和 norm ratio；若 cosine 接近 0/负、norm ratio 随训练上升，大概率引入冲突信号，应降低权重或丢弃。
评估“监督覆盖”不要只看静态词表 Jaccard，要看 student rollout 上 strict token coverage 以及共享词表实际概率质量；工程上采样几十条 rollout 即可快速判断是否值得做复杂对齐。
在 Agent 或推荐 LLM 的蒸馏中，若希望提升 teacher 信号覆盖，不要盲目追求全位置覆盖；优先保证主损失梯度干净，可先在小支持集上验证收益再扩展。

Training | 2026-10-05 | HF Daily | score 8/10

SimpleOPD：简单与分词器无关的长上下文推理在线策略蒸馏

🧭 On-policy 蒸馏 · 跨 tokenizer 长上下文推理 ★ 深度解读

Shanghai Artificial Intelligence Laboratory

用共享文本空间跨 tokenizer 对齐并加入终止 token 掩码与参考 KL 稳定长上下文推理蒸馏

📌 工作参考价值（4 点）

跨模型/跨 tokenizer 蒸馏工程：业务中想把大推理模型蒸馏到小线上模型，不必做人工 token 映射，直接让 teacher 用自己的 tokenizer 读 student 生成的文本，只对齐文本 span 完全相同的 token；实验中 lexical overlap 始终 >90%，大部分监督信号可以保留，适合 Qwen/Llama/GLM/Gemma 等不同家族的在线蒸馏。
长链推理蒸馏的稳定性 trick：OPD 直接从长上下文老师搬推理能力，学生容易出现长度爆炸、截断、重复；可以照搬两个简单做法：① 掩盖 </think>、<|im_end|> 等终止/结构 token 的 advantage，不强制学生模仿老师的终止倾向；② 加 student-reference KL，防止策略偏移。Intern-S2 和 Qwen3.5-35B 上能有效把截断率降到接近 0。
KL 系数是重要的超参：师生差距越大，越需要更强的 reference KL；GLM-4.7 消融显示 0.5 不足、1.2 过度，1.0 最均衡。业务上做蒸馏可以优先按模型家族差异设 0.5/1.0 两档。
训练数据聚焦更利于能力迁移：仅用 proof-only 数据蒸馏，目标证明能力提升最大；混入通用可验证数学数据反而削弱 ProofBench 迁移。类比到业务：要蒸馏商品知识、query 改写或策略推理，训练集应保持任务纯净，不要混太多无关任务。

Training | 2026-08-14 | cs.CL | score 8/10

基于字节前缀边缘化的跨分词器在线策略蒸馏

🧭 跨 tokenizer 蒸馏训练

University of Chinese Academy of Sciences · KwaiKAT Team · Zhejiang University · The Chinese University of Hong Kong

在共享字节空间将教师分布边缘化到学生词汇，无损对齐概率质量，大幅提升跨分词器蒸馏性能

📌 工作参考价值（4 点）

若业务中需融合多个使用不同 tokenizer 的文本模型（如商品标题/描述编码器、多语言模型），可借鉴 BPM 将教师分布无损映射到学生词汇，避免丢弃概率或语义错配。
字节前缀映射表可离线构建，蒸馏时仅需查表聚合，工程可行；残差类别处理未匹配质量，保证分布完整，可直接移植到自定义蒸馏 loss。
对于多模态推荐模型（图文混合 tokenizer 不同），BPM 提供了一种统一概率空间的思路，有助于跨模态知识迁移。
在 Agent 工具调用或搜索链路的 LLM 蒸馏中，若教师和学生分词器不一致，BPM 能保留关键 token 的分布结构，减少性能损失。

Training | 2026-07-24 | cs.LG | score 6/10