SPHQuant: Efficient extreme low bit weight quantization for Vision-Language Models
SPHQuant：面向视觉语言模型的高效极低比特权重量化
🧭 VLM 极低比特权重量化
Shanghai Jiao Tong University · The Hong Kong Polytechnic University
提出旋转无关的球面权重量化框架，通过分解8D权重向量分离异常值，实现2-3比特下精度匹配与30.3%解码吞吐提升
📌 工作参考价值（4 点）
- 将权重按向量维度（如8D）分解为坐标符号、半径、正单位方向，并单独给半径分配更高精度，可迁移到LLM骨干的极低比特量化，降低异常值影响而不引入旋转的额外开销。
- 方向码本采用角度参数化并微调来保持单位球约束，可以借鉴到生成式推荐的Semantic ID码本优化或embedding量化，提升低比特表示能力。
- 自定义GEMV kernel：保持方向码本小到可放进共享内存，同时高效打包半径位，对自回归解码的memory-bound场景有实际加速效果，可参考用于部署推荐/Agent中的自回归LLM推理服务。
- 旋转无关方法在2-3bit能与旋转方法精度相当，说明在追求低延迟、低内存的边缘部署时，优先避免旋转开销是可行路线，对端侧Agent或实时推荐推理有借鉴价值。