ReRound: Reconstructive Rounding to Resolve Midpoint Ambiguity in Calibration-Free LLM Quantization
ReRound：重构舍入解决免校准 LLM 量化中的中点歧义
🧭 LLM 低比特量化 · 校准自由 PTQ
Harvard University
用条件扩散模型重建权重作为舍入方向指导，混合 RTN 与重构舍入，提升小模型 3/4-bit 免校准量化精度
📌 工作参考价值（4 点）
- 对广告/推荐场景中部署的小模型（如轻量排序塔、CTR 特征提取器）可尝试校准自由 PTQ：ReRound 不依赖线上数据分布，奇异值匹配选择矩阵避免维护校准集，适合快速迭代压缩。
- 容忍度参数只对歧义区间权重做特殊舍入，可作为量化后处理的“局部修正”思路：在工程上对量化误差敏感的层或权重矩阵单独做扩散重建，其余层用 RTN，控制上线成本。
- 扩散模型生成重建权重这种“以生成做去噪/补全”的思路，可以迁移到 embedding 量化、低秩近似中，针对小模型权重分布做条件生成，提升量化后表示质量。
- 方案完全离线、推理零额外开销，对延迟敏感的排序/召回服务是重要优势；若现有压缩工具链中精度不够，可替换 rounding 模块而不改变推理图。