KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers
KroQuant：基于Kronecker结构化块变换的扩散模型高效训练后量化
🧭 扩散模型训练后量化：Kronecker块变换
提出KroQuant，用学习的Kronecker结构化块变换对激活做32元素块量化，比SmoothQuant更快且精度更高
📌 工作参考价值（4 点）
- 在推荐模型量化部署中，可借鉴KroQuant的块级Kronecker变换抑制激活异常值，参数少、在线开销低，适合实时推理。
- 将量化变换设计为32元素块的小GEMM，直接利用GPU Tensor Core加速，延迟更低。
- 离线LoRaQ权重校准可吸收量化后残差，提升精度，可作为PTQ流程的通用后处理步骤。
- 局部块变换替代全矩阵变换的思路，在保持量化质量同时大幅降低计算成本，适合搜索推荐系统的高吞吐需求。