DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs
DualQuant：LLM 免校准双尺度权重激活量化
🧭 LLM 量化 · 免校准 W4A4 ★ 深度解读
d-Matrix
用权重重构误差最小化导出的列尺度兼作激活重缩放，实现免校准 W4A4 量化，支持 INT4/MX/NVFP4
📌 工作参考价值（4 点）
- 在电商客服机器人、端侧推荐模型等隐私敏感或无法稳定获取校准数据的场景，可直接用 DualQuant 替代 SmoothQuant，省去校准集采集和分布敏感问题；其纯权重驱动特性也适合模型频繁更新、快速验证低比特推理的迭代节奏。
- 借鉴双尺度思路：对推荐模型中的 Embedding 或 MLP 层做量化时，引入列尺度抑制异常值，并让该列尺度同时作用于激活输入，可有效降低激活量化误差；工程上把列尺度融合进激活量化 kernel，避免额外 kernel launch。
- 格式感知投影是关键：如果硬件支持 MX 或 NVFP4（如 Blackwell），务必把尺度投影到格式允许的离散集合（E8M0/FP8 UE4M3），否则会出现 SINQ+ 那种尺度越界导致的完全发散；投影可在每次闭式更新后做最近邻取值。
- 离线量化成本极低：BCD 每次更新是闭式表达式，无需 Hessian 或反向传播，可以快速对新上线模型进行量化，适合电商/广告侧需要频繁部署新 LLM 或量化多版本模型的场景。