Structured Transforms for Low-Overhead Quantization of Language Models
用于低开销语言模型量化的结构化变换
🧭 LLM 权重后训练量化 · Kashin 分解
Institute of Numerical Mathematics · Steklov Mathematical Institute
用符号随机 DCT 替代 Kashin 量化中的稠密正交矩阵，O(N log N) 实现稳定 4-bit LLM 压缩
📌 工作参考价值（4 点）
- 部署 LLM Agent / 生成式推荐时，可尝试用 Kashin-DCT 4-bit PTQ 替代或补充 GPTQ/AWQ；在长尾或压力输入下 QuIP 类可能发散到高 PPL 或 NaN，该方法数值稳定，适合对稳定性要求高的线上 serving。
- 若推理硬件支持原生 2-bit，该分解将每个权重存为两个 2-bit factor code，避免 3/4-bit 非原生格式的额外开销，降低内存带宽占用；可评估在广告/电商 LLM 服务中的收益。
- 将稠密随机正交变换换成 sign-randomized DCT，复杂度从 O(N^2) 降到 O(N log N)，且 2-bit 聚类中心采用闭式初始化，省去 multi-restart k-means；这种结构化变换 + 确定性初始化的思路可迁移到其他 VQ/低秩压缩流程。
- 该方法与 OPTQ 顺序误差补偿、QuIP 非相干预处理组合有效，说明可以作为插件接入现有 GPTQ/QuIP 量化管线，不必重做端到端 pipeline。