BiSCo-LLM: Lookup-Free Binary Spherical Coding for Extreme Low-Bit Large Language Model Compression
BiSCo-LLM：面向大语言模型极端低比特的无码本二进制球形编码压缩
🧭 LLM 极端低比特压缩
提出无码本二进制球形编码框架，结合残差编码与恢复蒸馏，在 2 比特/权重下保持 LLM 性能
📌 工作参考价值（4 点）
- 推荐系统部署大型 Transformer 模型时，可借鉴球形编码将权重压缩至 2 比特，显著减少显存和带宽压力，且无需存储码本，避免查找开销，适合在线推理。
- 采用残差编码路径可灵活控制压缩率与精度，工程上可按模块重要性分配比特，优先保证敏感层精度，适用于参数量大的生成式推荐模型。
- 敏感通道保护策略（保留少量 8 比特通道）与 LoRA 适配器联合使用，可在极低比特下稳定模型行为，推荐系统在压缩特征交叉网络或用户编码器时可复用。
- 恢复蒸馏直接在模块替换后对齐输出分布，优于逐层重建，能更好保持端到端推荐效果，对压缩后微调流程有直接参考价值。