#W4A4

3 篇

DualQuant: Dual-scale Calibration-free Weight-and-Activation Quantization for LLMs

DualQuant：LLM 免校准双尺度权重激活量化

🧭 LLM 量化 · 免校准 W4A4 ★ 深度解读

d-Matrix

用权重重构误差最小化导出的列尺度兼作激活重缩放，实现免校准 W4A4 量化，支持 INT4/MX/NVFP4

📌 工作参考价值（4 点）

在电商客服机器人、端侧推荐模型等隐私敏感或无法稳定获取校准数据的场景，可直接用 DualQuant 替代 SmoothQuant，省去校准集采集和分布敏感问题；其纯权重驱动特性也适合模型频繁更新、快速验证低比特推理的迭代节奏。
借鉴双尺度思路：对推荐模型中的 Embedding 或 MLP 层做量化时，引入列尺度抑制异常值，并让该列尺度同时作用于激活输入，可有效降低激活量化误差；工程上把列尺度融合进激活量化 kernel，避免额外 kernel launch。
格式感知投影是关键：如果硬件支持 MX 或 NVFP4（如 Blackwell），务必把尺度投影到格式允许的离散集合（E8M0/FP8 UE4M3），否则会出现 SINQ+ 那种尺度越界导致的完全发散；投影可在每次闭式更新后做最近邻取值。
离线量化成本极低：BCD 每次更新是闭式表达式，无需 Hessian 或反向传播，可以快速对新上线模型进行量化，适合电商/广告侧需要频繁部署新 LLM 或量化多版本模型的场景。

LLM | 2026-10-09 | cs.AI | score 8/10

DSAQuant：面向视频生成的对齐去噪阶段的量化感知训练

🧭 视频生成扩散模型量化训练

Robbyant · ZJU · PolyU · HKUST

提出按去噪阶段对齐的量化训练框架，在 W3A3 下 VBench 平均最高提升 6.60

📌 工作参考价值（4 点）

Other | 2026-09-03 | cs.CV | score 6/10

Gated DeltaNet 为何能承受 4-bit 量化：混合 27B LLM 循环部分的 NVFP4 W4A4

🧭 混合 LLM 循环层 4-bit 量化推理优化

Minima AI

对 Qwen3.8-27B 全部 496 个线性层（含 GDN）做 NVFP4 W4A4，精度持平 BF16 且更小更快

📌 工作参考价值（4 点）

混合架构中 linear-attention/循环层（Gated DeltaNet）可以激进 W4A4，不必保留 8/16-bit；尤其对 decay/write-strength 门控投影，softplus/exponential 和 sigmoid 会压缩 GEMM 误差，量化敏感度低。
部署 NVFP4 时若按模块逐层校准，需注意 kernel fusion 后的 global scale 不匹配问题：应统一重算或修正 fused GEMM 的 scale，否则精度会显著下降。
长上下文场景可以把 KV cache 用 FP8 存并校准 scale，几乎无性能损失，能恢复约 83% 的长上下文 KV 惩罚；这是低成本优化长文本推理的有效手段。
16-element block scaling 能有效控制残差流中的极端 outlier，对电商/Agent 场景下需要低比特推理的混合 LLM 是一条可复用的工程路径。

LLM | 2026-09-02 | HF Daily | score 7/10