SHq: Learnable Grids for LLM Weight Quantization
SHq：面向 LLM 权重量化的可学习网格
🧭 LLM 权重量化 · 可学习查找表网格 ★ 深度解读
ETH Zürich · Rhoa Research · Institute of Science and Technology Austria (ISTA)
用两参数 sinh 压缩网格替代固定查找表，端到端 KL 搜索参数，3-4bit 量化误差显著低于 NF/BOF/INT
📌 工作参考价值（4 点）
- 若业务中需以 4-bit/3-bit 低比特部署 LLM（如 query 改写、商品文案生成、广告标题生成、Agent 推理），可将 SHq 作为 NF4/INT4/NVFP4 的 drop-in 替换：只改 lookup table 内容，不改变存储与解码，实测 KL 更低且下游精度更好。
- 量化 grid 的选择不应只看权重 MSE 或 reconstruction error，而应在端到端目标（如生成 query 的分布偏移、业务代理指标）上搜索；SHq 直接以 calibration KL divergence 扫描参数，这个思路可迁移到量化、蒸馏或压缩方案的选择。
- 在 block-scaled LUT 格式中，E4M3 block scale 的 sign bit 通常闲置；可引入不对称 grid 或 offset，用 sign bit 在 grid 与 mirror 间切换，零成本增加有效码本大小，对 2-bit/3-bit 极低比特部署尤其有价值。
- 对 MoE 稀疏大模型（电商/广告推荐中常见）同样有效；联合使用 SHq 与 per-layer bit allocation（如 RCO）可进一步压缩，且 SHq 在各 bit-width 下保持最低 KL，适合做统一量化格式。