超越专家排序：混合精度 MoE 量化的对比校准
🧭 MoE 混合精度量化与敏感度校准 ★ 深度解读
Nanjing University of Posts and Telecommunications · Tylogi AI Lab / TAIL · Southeast University · Microsoft · University of Cambridge
NatScale 用对称 KL 目标校准专家敏感度对比度，在固定存储预算下提升 MoE 量化保真度
📌 工作参考价值（4 点）
- 部署 MoE 大模型（如生成式推荐、精排 reranker、Agent 策略模型）做混合精度量化时，不要只看专家重要性排序：用 power transformation 校准敏感度对比度，可将不同层/模型放在共同信息尺度上，默认 τ=1 nat 是无调参的实用起点。
- 工程实现上把 joint gate/up/down 误差、结构化先验和校准权重解耦并预缓存，之后扫预算或 τ 只需重跑线性规划分配器，无需额外前向/反向，适合线上反复调整内存配额。
- 分配单元下探到 expert 内部 projection，而不是整层统一精度，可在同层内差异化 bit-width，压缩比与效果更优；电商推荐模型若含 MoE 或专家模块可沿用同一思路。
- 注意 PPL 与 native KLD 可能偏好不同 τ：若目标是输出分布对齐（如广告创意生成、query 改写），优先看 KLD/Top1 而不是 PPL。
DualQuant：LLM 免校准双尺度权重激活量化
🧭 LLM 量化 · 免校准 W4A4 ★ 深度解读
d-Matrix
用权重重构误差最小化导出的列尺度兼作激活重缩放，实现免校准 W4A4 量化，支持 INT4/MX/NVFP4
📌 工作参考价值（4 点）
- 在电商客服机器人、端侧推荐模型等隐私敏感或无法稳定获取校准数据的场景，可直接用 DualQuant 替代 SmoothQuant，省去校准集采集和分布敏感问题；其纯权重驱动特性也适合模型频繁更新、快速验证低比特推理的迭代节奏。
- 借鉴双尺度思路：对推荐模型中的 Embedding 或 MLP 层做量化时，引入列尺度抑制异常值，并让该列尺度同时作用于激活输入，可有效降低激活量化误差；工程上把列尺度融合进激活量化 kernel，避免额外 kernel launch。
- 格式感知投影是关键：如果硬件支持 MX 或 NVFP4（如 Blackwell），务必把尺度投影到格式允许的离散集合（E8M0/FP8 UE4M3），否则会出现 SINQ+ 那种尺度越界导致的完全发散；投影可在每次闭式更新后做最近邻取值。
- 离线量化成本极低：BCD 每次更新是闭式表达式，无需 Hessian 或反向传播，可以快速对新上线模型进行量化，适合电商/广告侧需要频繁部署新 LLM 或量化多版本模型的场景。
预测量化价格以在部署前选择 PTQ 配置
🧭 LLM 权重 PTQ 配置选择与价格预测 ★ 深度解读
HKUST-GZ
用 forward KL 诱导的二次价格统一比较位宽、粒度、变换等 PTQ 配置，实现预算约束下的部署前选择
📌 工作参考价值（4 点）
- 部署 LLM 推荐/Agent 模型时，可用校准时价格表快速筛选量化配置（位宽、粒度、预量化变换），避免反复构建完整量化模型，节省大量实验时间。
- 把量化配置视为统一候选，用输出侧曲率加权误差协方差（而非仅重建误差或输入对角线统计）排序，能更贴近下游任务效果，适合对线上精度敏感的生成式推荐/Agent 场景。
- 在成本受限的部署（如端侧推理）中，引入部署成本约束做 budgeted search，显式权衡精度与资源，对工程实现有直接参考价值。
- 实现上只需 Hutchinson 估计曲率迹和扰动矩，不需要完整 Hessian，可作为轻量校准步骤嵌入现有 PTQ 流程。
SPHQuant：面向视觉语言模型的高效极低比特权重量化
🧭 VLM 极低比特权重量化
Shanghai Jiao Tong University · The Hong Kong Polytechnic University
提出旋转无关的球面权重量化框架，通过分解8D权重向量分离异常值，实现2-3比特下精度匹配与30.3%解码吞吐提升
📌 工作参考价值（4 点）
- 将权重按向量维度（如8D）分解为坐标符号、半径、正单位方向，并单独给半径分配更高精度，可迁移到LLM骨干的极低比特量化，降低异常值影响而不引入旋转的额外开销。
- 方向码本采用角度参数化并微调来保持单位球约束，可以借鉴到生成式推荐的Semantic ID码本优化或embedding量化，提升低比特表示能力。
- 自定义GEMV kernel：保持方向码本小到可放进共享内存，同时高效打包半径位，对自回归解码的memory-bound场景有实际加速效果，可参考用于部署推荐/Agent中的自回归LLM推理服务。
- 旋转无关方法在2-3bit能与旋转方法精度相当，说明在追求低延迟、低内存的边缘部署时，优先避免旋转开销是可行路线，对端侧Agent或实时推荐推理有借鉴价值。
文本嵌入模型的后训练量化失效图谱：四个模型家族的实测研究
🧭 模型量化与检索嵌入压缩
ThakiCloud
在检索嵌入模型上系统验证量化启发式建议，发现嵌入表保护和模块敏感度排序均不可迁移，蒸馏学生模型在极端量化下更优
📌 工作参考价值（4 点）
- 量化检索 embedding 模型时不要直接套用 LLM 量化经验：embedding table 并不总是需要最高优先保护，INT4/g16 下各模块独立量化损失差异不足 1 个 NDCG 点，均匀量化即可，无需复杂的混合精度分配。
- 在 INT3 及以下位宽，模块敏感度排序因模型家族而异（Qwen 中 FFN 最敏感，BGE-M3 和 E5 中 attention 最敏感），需要针对自有模型重新测量，不能依赖通用排序。
- 重建误差代理可用于筛选全局位宽，但不可用于选择具体保护哪些 tensor，因为其跨位宽的强预测力是 range-extension 伪影；实际选型应在目标检索任务上做 per-query bootstrap 检验。
- 若需 INT3/INT2 极端压缩，可考虑训练一个更小的蒸馏学生模型并量化，可能比直接量化大模型更优（文中 109M 学生 INT3 在 68.4 MB 下 NDCG@10 达 78.04，优于 0.6B 教师量化版本的 64.46 / 297.9 MB），但注意这种优势仅限蒸馏任务内。
为什么训练后量化有效？
🧭 LLM 量化鲁棒性机制 ★ 深度解读
Tsinghua University · Bosch AI Research
发现预训练模型量化鲁棒性源于层间误差抵消与 LM-head 几何对高排名 token 的优先保留，解释 PTQ 为何有效。
📌 工作参考价值（4 点）
- 在电商搜索/推荐中部署 LLM 做 query 理解、候选生成或 Agent 决策时，4-bit weight-only 量化（如 NVFP4 RTN）能基本保持 top-k 预测稳定（Ret@10/20≈85%），可直接采用低精度推理节省成本，不必担心高排名候选被破坏。
- 量化误差在层间存在“抵消”效应，说明常规 PTQ 校准并非每层都需要精细调整；可以优先关注输出层和 LM-head 对准，而非逐层最小化隐藏状态误差。
- 若业务依赖长尾 token（例如 niche 品类词、冷门 Semantic ID），需注意量化对低排名 token 的概率扰动更大，建议对长尾候选单独评估或保持关键生成路径高精度。
- 对于需要高一致性的 Agent 多步推理，量化后 top-1 翻转率约 8-13%，仍有风险；在关键决策步骤可采用混合精度或保留 LM-head 及关键层为 BF16。
局部方差最优不够：面向动态4比特量化的RoPE对齐Q/K旋转
🧭 RoPE对齐量化变换
University College London
发现RoPE对齐的成对旋转在动态W4A4KV4量化中未提升且增加困惑度，揭示代理目标与量化统计不匹配。
📌 工作参考价值（3 点）
- 部署 LLM 做生成式推荐/Query 改写/Agent 决策时，若采用动态 4-bit 量化（W4A4KV4），优先保留标准全头 Hadamard 旋转（QuaRot 风格）；实验显示用 RoPE 对齐成对旋转替换反而在多个 checkpoint、短/长上下文均增加 PPL。
- 若业务必须引入 RoPE 结构变换，可采用成对旋转与 Hadamard 组合，并仅用 K 的校准数据估计共享角度；该方案能满足 ±0.05-PPL 偏差阈值，但无额外收益，可作为兼容性方案而非优化方案。
- 工程实现注意：量化器步长通常由 tokenwise group range 决定，而代理目标基于位置平均协方差；两者统计错位会导致理论最优不转化为实际量化误差降低。评估量化方案时直接观察动态量化后的 K range、相对量化误差和下游指标（如 PPL 或线上效果），不要依赖孤立代理指标。
KroQuant：基于Kronecker结构化块变换的扩散模型高效训练后量化
🧭 扩散模型训练后量化：Kronecker块变换
提出KroQuant，用学习的Kronecker结构化块变换对激活做32元素块量化，比SmoothQuant更快且精度更高
📌 工作参考价值（4 点）
- 在推荐模型量化部署中，可借鉴KroQuant的块级Kronecker变换抑制激活异常值，参数少、在线开销低，适合实时推理。
- 将量化变换设计为32元素块的小GEMM，直接利用GPU Tensor Core加速，延迟更低。
- 离线LoRaQ权重校准可吸收量化后残差，提升精度，可作为PTQ流程的通用后处理步骤。
- 局部块变换替代全矩阵变换的思路，在保持量化质量同时大幅降低计算成本，适合搜索推荐系统的高吞吐需求。
KronQ：基于Kronecker分解的LLM量化框架
🧭 LLM 后训练量化 · Kronecker 分解 ★ 深度解读
University of Southern California · Yale University
引入梯度协方差实现双向非相干处理与混合精度分配，显著提升2-bit量化性能
📌 工作参考价值（4 点）
- 量化推荐系统中的Transformer层时，额外引入梯度协方差HG可弥补仅使用激活协方差HX的不足，极大改善低比特（特别是2-bit）下模型崩溃问题。
- 双向非相干预处理（对输入和输出维度都应用随机Hadamard旋转+对角缩放）能平滑权重幅度方差，可应用于广告/推荐模型的注意力层或MLP层，减少量化误差。
- 基于tr(HG)·tr(HX)的混合精度分配方法能够区分共享输入的Q/K/V投影，为不同子层分配合适位宽，可直接用于推荐模型的多层精度调优。
- 方法计算高效：HG仅需一次反向传播，且量化更新中HG代数抵消，不增加推理开销，适合低延迟在线服务。
OrbitQuant：图像与视频扩散 Transformer 的数据无关量化
🧭 扩散 Transformer PTQ · 数据无关旋转量化
Cantina Labs · University of Southern California · University of Illinois Urbana-Champaign
在归一化旋转基上量化，用固定码本适应所有时间步和模态，无需数据重校正，将 DiT PTQ 推进到 W2A4。
📌 工作参考价值（4 点）
- 对推荐系统中可能使用的 Transformer 或扩散生成模型，旋转基量化可消除校准集依赖，避免因用户行为分布漂移而反复重校。
- 权重旋转离线吸收进线性层，推理时仅对激活做前向旋转，工程实现简洁高效，可直接参考其算子融合技巧。
- 单一码本跨层复用，大幅降低推荐模型量化时的码本存储与设计复杂度，适合存储受限的线上环境。
- W2A4 极低比特可成倍压缩推理带宽，在电商直播、短视频内容生成等需高吞吐的 GPU 受限场景具备直接落地价值。
OffQ：用偏移消除LLM量化中的结构化离群值
🧭 LLM量化 · 后训练均匀精度 ★ 深度解读
EPFL · Huawei · ETH Zurich
提出OffQ，通过Top-1 PCA浓缩离群并在组内用Hadamard旋转转为偏移，实现统一精度W4A4KV4量化，超越SoTA。
📌 工作参考价值（4 点）
- 推理加速：W4A4KV4量化将模型内存与计算缩减至4-bit，直接降低在线推理成本，适合电商推荐、多Agent对话等延迟敏感场景，OffQ可避免精度损失过多。
- 离群值处理：利用Top-1 PCA识别activation离群方向并浓缩到单一通道，然后通过组偏移吸收，该方法可迁移至任何需要消除离群值的量化场景（如模型压缩、KV cache量化）。
- 工程实现：不依赖反向传播学习旋转或混合精度，仅需标准均匀量化和快速Hadamard旋转，可在现有推理框架中轻量集成，无需定制核函数。
- 组量化策略：采用分组偏移和排序分组，平衡量化粒度与开销；每128通道一组时等效位宽仅4.25bits，适合做显存/带宽受限的边缘部署。