#QAT

6 篇

ThinkBit: Search Codewords, Recalibrate Scales, Select by Reasoning

ThinkBit：搜索码字、重校准尺度、按推理选择

🧭 LLM量化 · 标量2-bit推理保持 ★ 深度解读

Microsoft Applied Sciences Group

标量2-bit量化框架，通过敏感度分配位宽、码字搜索、仅训尺度和按推理选择，在MATH-500上大幅超过同尺寸2-bit方法

📌 工作参考价值（5 点）

线上长思维链模型压缩：如果要在电商/Agent场景部署推理模型，可用标量2-bit格式（整数codeword × bf16 scale，组大小128），无codebook/rotation/zero-point，dequant只需一次乘法，工程实现简单，能显著降低权重内存带宽；论文中14B模型decode从86提高到150 tokens/s。
按层敏感度混合精度：不必全模型统一2-bit，先用KronQ敏感度（输入范数×输出梯度范数）给每层分配ternary/2-bit/3-bit，可将搜索/推荐/Agent模型的量化损失最小化；论文表明2-bit点在成本-噪声平面上不占优，多数层会分配到ternary或3-bit。
低成本恢复与校准：冻结codeword，只训练scales和RMSNorm gains（<1%参数）就能把WikiText ppl从46.9降到19.46、MATH-500从14.8拉到47.5；这适合对线上新领域数据做快速低资源校准，无需全量QAT。
用业务长链路指标选checkpoint：困惑度和多选题无法区分量化配置（差异<1.5点），但长程任务如MATH-500差异超10点；应构造业务推理样本（如商品推荐解释、Agent工具调用轨迹最终成功率）做配对sign-flip test来选择checkpoint，避免误选。
QAT数据要加完整推理轨迹：仅通用数据QAT会损害推理（MATH-500从47.5降到43.0），加入完整长思维链数据后同尺寸模型MATH-500从46.7跃升至73.0；业务上收集高质量Agent轨迹数据做量化后训练是划算的。

Training | 2026-10-25 | HF Daily | score 8/10

SQuAT: Spherical Lattice Vector Quantization-Aware Training

SQuAT：球面格型向量量化感知训练

🧭 LLM量化训练 · 球面格型VQ ★ 深度解读

University of Copenhagen · Qualcomm AI Research

提出分离STE的shape-gain向量量化训练，诱导球面优化，实现LLM低比特压缩SOTA

📌 工作参考价值（4 点）

在推荐/广告模型的 embedding 表或大权重矩阵压缩中，可借鉴 shape-gain 分解：将权重块拆为方向向量和标量增益，方向用球面码本量化，增益用少量比特（如 chi 分位标量量化），能在低比特下保留更多角度信息。
分离 STE 设计：在量化训练时对 shape 和 gain 分别使用 STE，而非对整个量化器用联合 STE，可诱导切空间更新，改善低比特收敛，该技巧可迁移至其他 VQ 或低秩训练场景。
若需对大规模模型做 VQ-QAT，采用分块分配、索引缓存、Triton 融合最近邻搜索，可将训练速度提升一个数量级（12.8×），适合电商场景下亿级参数的在线部署。
E8S 球面码本支持分数比特率（如 1.75 bpw），有助于在存储与精度之间找到更细粒度的 Pareto 最优，对资源受限的端侧推荐模型尤其有用。

Training | 2026-10-22 | cs.CL | score 8/10

Quantization QAT Vector Quantization Shape-Gain Spherical Optimization LLM Compression

Quantization-Aware Healing: A Practical Recipe for Recovering Compressed, 4-Bit LLMs

量化感知修复：恢复压缩4位大模型的实用方法

🧭 LLM 压缩量化与蒸馏修复

Multiverse Computing

提出 Quantization-Aware Healing (QAH)，从原始未压缩模型直接蒸馏到4-bit量化学生，比 QAT 更快更稳，并开源 Hypernova-60B

📌 工作参考价值（4 点）

部署压缩大模型时，直接采用 QAH 蒸馏代替传统 QAT 恢复流程：在结构压缩+量化后，从原始未压缩模型蒸馏到量化学生，而非从 bfloat16 压缩中间模型蒸馏或 QAT 重训，可显著加速收敛（约7倍）并避免峰值后崩溃，减少手动早停的调参成本。
适用于电商/Agent 中需要低成本 LLM 推理的场景：例如用压缩量化后的 LLM 做 query 推荐、对话生成或商品文案，QAH 能保持与更大模型相近的质量，同时降低 4 倍权重内存和一半参数量，适合线上部署。
注意分布式训练后端对质量的影响：工程实现时需固定并验证后端（如 PyTorch FSDP、DeepSpeed 等），该论文报告了后端差异导致的可复现性差距，建议在训练压缩模型时对比后端并固定配置。
如果追求快速低成本恢复压缩模型，可以优先尝试蒸馏而非硬标签 QAT：QAH 对超参不敏感，不需要多周搜索，适合业务中快速迭代模型压缩版本。

Training | 2026-08-21 | cs.CL | score 7/10

Quantization-Aware Healing QAT 4-bit quantization MXFP4 distillation LLM compression

Llama-Mobile: Efficient 2.7-Bit Quantization of VLMs

Llama-Mobile：VLM 的高效 2.7-bit 量化

🧭 VLM 量化与移动端高效推理

Graphcore Research · Arm

提出无需原始训练数据的 VLM 量化 pipeline 与 S3D8 2.7-bit 格式，将 Llama 3.2 11B 压缩至 3.7GB 并保持 VQA 性能

📌 工作参考价值（4 点）

业务里若需在端侧/边缘部署多模态模型（商品图理解、广告素材审核、图文客服），可借鉴“无原始训练数据 QAT”：用目标模型自生成校准数据，避免数据不可得和分布偏移。
S3D8 2.7-bit 格式将三个有符号权重打包进一个字节，解码到 INT8 后推理，对 Arm CPU 友好；有移动端导购/Agent 或端上推荐模型时可评估该格式降低内存。
量化训练数据选择对性能很敏感：合成与部署分布匹配的数据比通用公开数据更稳，做模型压缩时值得投入数据构造。
11B VLM 压缩到 3.7GB 说明移动端内存预算可承载多模态大模型，适合端侧“拍照搜商品/图片问答”等场景。

Multimodal | 2026-08-20 | HF Daily | score 6/10

quantization VLM QAT mobile inference model compression S3D8

QUASAR: Lowering the Loss Floor of Quantization-Aware Training with Loss-Aware Reconstruction

QUASAR：通过损失感知重建降低量化感知训练的损失下界

🧭 量化感知训练 · 损失感知重建 ★ 深度解读

Cornell University · Together AI

将损失感知重建引入 QAT 训练循环，用 Adam 二阶矩做 saliency 进行尺度搜索和加权最小二乘拟合，压低低比特模型 loss floor

📌 工作参考价值（4 点）

低比特部署 LLM 时，若线上沿用 PTQ 掉点明显，可切换到 QUASAR 式 QAT：保持 weight-only 量化，不增加推理 overhead，训练开销仅 +1.4%。对需要长期稳定低延迟的推荐/Agent 推理服务有直接落地价值。
可直接复用两个 trick：用 AdamW 的 second moment \(v_t\) 作为权重的 saliency 估计，无需额外 Hessian 计算/存储；每步在 [0.3,1.0] 范围内搜索裁剪因子，并对反量化 scale/zero-point 做 saliency 加权最小二乘闭式求解，插入现有训练循环成本极低。
在 2-bit 这类极端低精度下，QAT 对数学推理和长链 Agent 任务质量影响显著；QUASAR 直接低比特 SFT 平均数学基准比最强 baseline 高 10.9 点，且是唯一在 HMMT'25 上非零的方法，说明保住长生成能力很关键。
该方法兼容 NVFP4 等生产格式，可把同样思路迁移到 MXFP4 或自定义 block-scaled 格式；迁移时只需调整候选 scale 与网格约束，核心目标不变。

Training | 2026-08-14 | cs.CL | score 8/10

QAT Quantization Loss-aware Reconstruction LLM NVFP4 Low-bit Inference

Gemma 4 Technical Report

Gemma 4 多模态模型：高效推理与编码器自由架构

🧭 多模态 LLM 与推理效率优化 ★ 深度解读

Google DeepMind

开源密集与 MoE 多模态模型，集成思维链、长上下文压缩与量化，在多项基准上以小参数量匹配大模型

📌 工作参考价值（4 点）

长上下文 KV 缓存优化：采用 5:1 局部/全局注意力比、p‑RoPE 位置编码、键值重用 (keys as values)，全局 KV 缓存减少 37.5%，可直接用于推荐系统的长序列用户行为建模，降低推理显存。
量化感知训练 (QAT)：提供 int2/int4 混合权重量化版本，搭配 fp16 激活时块级缩放，大幅降低部署内存与延迟；特别适合电商中端侧部署的排序或生成式推荐模型。
多 Token 预测草稿头 (MTP)：轻量自回归头跨注意主模型 KV 缓存，支持任意草稿长度；可迁移到对话式搜索/推荐 Agent，加速多轮生成响应。
编码器自由多模态架构：12B 模型直接用线性投影处理原始音频和图像块，省去专用编码器，简化多模态融合管线；在商品图像+语音评价的场景可尝试单一 LLM 统一提取特征，降低工程复杂度。

LLM | 2026-07-01 | HF Daily | score 9/10

Gemma 4 Multimodal MoE Thinking Mode QAT Encoder-Free