dQwen3.5: Hybrid-Attention Diffusion Language Models
dQwen3.5：混合注意力扩散语言模型
🧭 扩散语言模型适配 · 混合架构 ★ 深度解读
University of Texas at Austin
将因果 RNN 骨干保留、仅双向化注意力层，实现 AR 到扩散语言模型的高效适配，训练 token 减半且保持并行/任意顺序解码
📌 工作参考价值（4 点）
- 若业务已有 hybrid AR 生成模型（如 query 生成、商品文案、搜索词生成），可直接做 AR→DLM 适配：只把 attention 层的因果 mask 关掉，保留 RNN 因果，再按论文做 token shifting 和复用未用 token id 作为 mask/pad/BOS，无需新 embedding 或改架构，即可继承权重并得到并行/任意顺序解码能力。
- 训练预算上，扩散适配 50B tokens 通常够用，尤其大模型不要盲目拉到 100B；把下游指标（而非训练 loss）作为停止/选 checkpoint 依据，同时学习率按原始能力保留来选，防止灾难性遗忘。
- 线上低延迟生成可借鉴 block decoding（块大小 32）做半自回归：块内任意顺序并行，块间左到右，适合搜索建议、push 文案等需要部分结构化的场景；confidence threshold 在 2–16× NFE 加速下仍维持较好的 HumanEval 表现，可直接探索。
- 微调数据配比：初始 71% 领域代码不如 50% code + 35% general 混合，加入通用语料后 19/20 指标提升；对推荐/搜索生成模型的领域微调有同样启示——保留通用数据，且对代码/执行类数据可做可执行性验证过滤。