BitNet Text Embeddings
BitNet文本嵌入：极端低比特LLM语义表示
🧭 极端低比特嵌入模型的量化训练与多精度存储 ★ 深度解读
Peking University · Microsoft Research
将LLM转换为1.58位BitNet嵌入器，配合对比预训练与蒸馏，实现接近全精度性能并支持多精度存储
📌 工作参考价值（4 点）
- 线上推理加速：将LLM嵌入骨干量化为1.58位三值权重与8位激活，CPU吞吐量提升约2倍，适合电商搜索/推荐场景的实时查询编码。
- 多精度向量索引：单个模型可输出1/2/4/8/16位嵌入，按存储预算灵活选择精度而不需重新训练，大幅降低向量数据库成本。
- 蒸馏策略可复用：相似度分布蒸馏（KL散度对齐批内候选分布）与注意力关系蒸馏（单层多头自注意力关系对齐）能有效补偿量化损失，可迁移至其他模型压缩任务。
- 工程稳定技巧：在每层Transformer内插入子层归一化 (SubLN)，缓解量化带来的激活尺度漂移，使极端低比特训练更稳定。