弱化以强化：面向大型推理模型的弱化诱导在线策略自蒸馏
🧭 LLM 推理模型自蒸馏训练
Massachusetts Institute of Technology · NVIDIA
通过量化/剪枝构造弱化模型，利用强弱对比信号进行在线策略自蒸馏，无需外部教师
📌 工作参考价值（4 点）
- 在没有更强教师或外部标注时，可对内部 LLM（商品推荐文案、Agent 规划、搜索 query 改写）做“弱化自蒸馏”：将线上模型做低比特量化或幅度剪枝得到弱版，用同批 on-policy 轨迹的强弱概率差/输出对比做 token 级信号，无需人工标注或大模型 API。
- 剪枝版弱模型比量化版提升更明显（+5.5 vs +4.0），在算力有限时优先 magnitude pruning 作为弱化教师；但剪枝需调稀疏度，注意训练稳定性。
- 该方法可嵌入现有 post-training pipeline：用业务真实 unlabeled prompts 跑 on-policy rollout，收集模型自身错误中间步骤，再与弱化模型对比，重点修复推理链偏离，适合 Agent 工具调用/多步推荐逻辑的 RL 后训练。
- 需要验证弱化模型不能太弱，否则对比信号噪声大；建议按任务难度与模型规模调整量化位数/剪枝比例，先小规模消融。
ThinkBit：搜索码字、重校准尺度、按推理选择
🧭 LLM量化 · 标量2-bit推理保持 ★ 深度解读
Microsoft Applied Sciences Group
标量2-bit量化框架，通过敏感度分配位宽、码字搜索、仅训尺度和按推理选择，在MATH-500上大幅超过同尺寸2-bit方法
📌 工作参考价值（5 点）
- 线上长思维链模型压缩：如果要在电商/Agent场景部署推理模型，可用标量2-bit格式（整数codeword × bf16 scale，组大小128），无codebook/rotation/zero-point，dequant只需一次乘法，工程实现简单，能显著降低权重内存带宽；论文中14B模型decode从86提高到150 tokens/s。
- 按层敏感度混合精度：不必全模型统一2-bit，先用KronQ敏感度（输入范数×输出梯度范数）给每层分配ternary/2-bit/3-bit，可将搜索/推荐/Agent模型的量化损失最小化；论文表明2-bit点在成本-噪声平面上不占优，多数层会分配到ternary或3-bit。
- 低成本恢复与校准：冻结codeword，只训练scales和RMSNorm gains（<1%参数）就能把WikiText ppl从46.9降到19.46、MATH-500从14.8拉到47.5；这适合对线上新领域数据做快速低资源校准，无需全量QAT。
- 用业务长链路指标选checkpoint：困惑度和多选题无法区分量化配置（差异<1.5点），但长程任务如MATH-500差异超10点；应构造业务推理样本（如商品推荐解释、Agent工具调用轨迹最终成功率）做配对sign-flip test来选择checkpoint，避免误选。
- QAT数据要加完整推理轨迹：仅通用数据QAT会损害推理（MATH-500从47.5降到43.0），加入完整长思维链数据后同尺寸模型MATH-500从46.7跃升至73.0；业务上收集高质量Agent轨迹数据做量化后训练是划算的。
SQuAT：球面格型向量量化感知训练
🧭 LLM量化训练 · 球面格型VQ ★ 深度解读
University of Copenhagen · Qualcomm AI Research
提出分离STE的shape-gain向量量化训练，诱导球面优化，实现LLM低比特压缩SOTA
📌 工作参考价值（4 点）
- 在推荐/广告模型的 embedding 表或大权重矩阵压缩中，可借鉴 shape-gain 分解：将权重块拆为方向向量和标量增益，方向用球面码本量化，增益用少量比特（如 chi 分位标量量化），能在低比特下保留更多角度信息。
- 分离 STE 设计：在量化训练时对 shape 和 gain 分别使用 STE，而非对整个量化器用联合 STE，可诱导切空间更新，改善低比特收敛，该技巧可迁移至其他 VQ 或低秩训练场景。
- 若需对大规模模型做 VQ-QAT，采用分块分配、索引缓存、Triton 融合最近邻搜索，可将训练速度提升一个数量级（12.8×），适合电商场景下亿级参数的在线部署。
- E8S 球面码本支持分数比特率（如 1.75 bpw），有助于在存储与精度之间找到更细粒度的 Pareto 最优，对资源受限的端侧推荐模型尤其有用。
不同任务不同去噪步：扩散语言模型的任务-时间感知量化
🧭 扩散语言模型 · 混合精度量化
Technion – Israel Institute of Technology · INSIGHT Lab, Ben-Gurion University of the Negev
发现扩散语言模型量化敏感性随任务与去噪步变化，提出无标签信号驱动的混合精度量化框架T2Quant
📌 工作参考价值（4 点）
- 若部署扩散语言模型做生成式推荐/Agent文本生成，可对去噪过程不同时间步做混合精度量化，而非全程统一位宽：在任务敏感步分配更高精度，其他步降低精度，能在固定显存/算力预算下提升生成质量。
- 采用无标签的敏感性信号（如全精度与量化模型输出分布的KL散度）离线为不同任务、不同时间步生成量化位宽策略，避免每个下游任务都需真实标注或评测指标，便于快速适配新业务场景。
- 该混合精度框架可与现有量化方法叠加（即插即用），工程上只需在推理时按步动态切换激活精度，不涉及模型重新训练；对需要反复去噪的扩散generation pipeline（如商品标题、推荐理由、Agent规划）可有效降低推理成本。
- 注意：这一结论源于扩散语言模型，若业务使用自回归LLM则借鉴有限；但若采用扩散或迭代解码架构，应避免沿用AR静态量化假设，需重新评估时间步/任务维度的敏感性。
TWIG：每个权重都是共享离散决策路径
🧭 模型压缩 · 权重离散化
LEAD Lab, ITMO University
提出 TWIG 树结构权重表示，统一剪枝、量化、低秩与码本，LLM 权重以更少加法达到与 GPTQ 同等误差
📌 工作参考价值（4 点）
- 业务部署 LLM/推荐模型时可统一压缩流程：TWIG 把剪枝、量化、低秩、码本、权重共享合并为同一树结构决策，避免分阶段工具链（先剪枝再量化再低秩）造成误差累积，可用一个优化目标联合搜索。
- 对延迟敏感、希望硬件固权/推理加速的电商搜索或广告模型，可尝试将关键层表示为 signed power-of-two 项，使乘法变移位加法，降低电路成本；优先用于 outlier 明显或冗余大的 FFN/embedding 层，实测此类矩阵可减少更多加法。
- 工程实现上可借鉴“共享路径继承”思想：让一组权重共享高层离散门（sign/scale/index），仅叶节点不同，既能大幅减少元数据存储，又便于在芯片制造前固化。
- 当前证据仅来自 5 个权重矩阵，尚未验证全模型端到端精度与吞吐；业务落地前需先做全模型压缩实验，评估与 GPTQ/AWQ 等成熟方案的端到端指标。
DualQuant：LLM 免校准双尺度权重激活量化
🧭 LLM 量化 · 免校准 W4A4 ★ 深度解读
d-Matrix
用权重重构误差最小化导出的列尺度兼作激活重缩放，实现免校准 W4A4 量化，支持 INT4/MX/NVFP4
📌 工作参考价值（4 点）
- 在电商客服机器人、端侧推荐模型等隐私敏感或无法稳定获取校准数据的场景，可直接用 DualQuant 替代 SmoothQuant，省去校准集采集和分布敏感问题；其纯权重驱动特性也适合模型频繁更新、快速验证低比特推理的迭代节奏。
- 借鉴双尺度思路：对推荐模型中的 Embedding 或 MLP 层做量化时，引入列尺度抑制异常值，并让该列尺度同时作用于激活输入，可有效降低激活量化误差；工程上把列尺度融合进激活量化 kernel，避免额外 kernel launch。
- 格式感知投影是关键：如果硬件支持 MX 或 NVFP4（如 Blackwell），务必把尺度投影到格式允许的离散集合（E8M0/FP8 UE4M3），否则会出现 SINQ+ 那种尺度越界导致的完全发散；投影可在每次闭式更新后做最近邻取值。
- 离线量化成本极低：BCD 每次更新是闭式表达式，无需 Hessian 或反向传播，可以快速对新上线模型进行量化，适合电商/广告侧需要频繁部署新 LLM 或量化多版本模型的场景。
面向学习型稀疏检索的紧凑高效索引
🧭 稀疏检索索引压缩 · SEISMIC ★ 深度解读
ISTI-CNR · University of Pisa · Linkup
用 medoid 替代 block summary，并压缩前向索引组件与值，实现同等精度下最多 5.3× 提速、约 3× 省内存
📌 工作参考价值（4 点）
- SEISMIC 类两段式检索可直接把 block summary 换成 medoid：块元数据从几百字节稀疏向量缩到一个 8 字节 doc id，省下的空间可用于更细分块；召回下降通过调低 heap_factor（如 0.9→0.7）补偿，适合内存敏感场景。
- 前向索引压缩与 selector 解耦，可单独接入 KANNOLO/HNSW 等已有系统：先用递归图二分重排 vocabulary，再对 delta-gap 做 8 整数块 SIMD bit-packing，配合 gather/FMA 融合 decode 与点积，避免 decompress-then-process 的内存墙；在 SPLADE-v3 上可近半减前向索引内存。
- 值量化优先考虑 per-component 4-bit：SPLADE 类非负权重可近似 v≈w*k 去掉 offset，每条匹配仅保留一次 FMA；k-means centroid 量化在低 bit 下比 scalar 更稳，可用一半 8-bit 内存恢复大部分精度。
- 若业务有“短 query、长 document”的 inference-free retriever 或 push 选词场景，可用 JUMPDOT：固定 16 entry/块，按 query component 与 block max 跳过不匹配块，获得约 2.1–2.4× 加速，额外内存开销 <2%。
多语言编码器生成的 Semantic ID 跨语言一致性检验
🧭 生成式推荐 · Semantic ID 跨语言一致性 ★ 深度解读
Amazon · Rutgers University
用 ESCI 翻译对照证明：多语言编码器与平衡码本不能保证同一商品跨语言 SID 前缀一致，需显式对齐目标。
📌 工作参考价值（4 点）
- 部署多语言生成式推荐时，不要假设多语言 encoder 的 SID 天然跨语言一致；若用 exact prefix 做召回/索引，需为同一商品的不同语言文本增加显式对齐约束或后处理映射。
- RQ-VAE 第一层易坍缩到单码，工程实现要加输入 centering、per-step dead-code recycling，并监控每层有效码数 Keff；E5 原始空间共享 offset 强，直接量化会失效。
- 拟合码本时语言平衡不必然带来更好 cross-lingual agreement；实验中英文 only 拟合反而保留更多翻译前缀。若目标是英文为主索引，可保守采用英文主导拟合 + 跨语言一致性损失。
- 评估 quantizer 扰动敏感度时，isotropic control 会高估语言方向选择性，应构造 product-directed control（沿真实产品 embedding 方向移动相同距离）才能得到可靠结论。
WUSH-KV：数据自适应变换的 KV Cache 低比特量化
🧭 LLM 推理优化 · KV Cache 量化 ★ 深度解读
Institute of Science and Technology Austria (ISTA) · ETH Zürich · Red Hat AI
用 WUSH 数据自适应可逆变换对 KV cache 做低比特量化，2-bit 下 Qwen3-8B 全面优于 OSCAR
📌 工作参考价值（4 点）
- 对需要长上下文/高并发 LLM 服务的推荐与 Agent 系统，KV cache 内存是主要瓶颈。可借鉴将可逆变换与量化解耦：校准阶段按每个 head 的 Gram 矩阵（缓存张量自身统计）+ Hessian（下游消费者敏感度）构建变换，允许非正交各向异性缩放，比固定 Hadamard/随机旋转在 2-bit 下显著降低误差。类似思路可用于用户/物品 embedding 缓存或特征存储的低比特压缩，关键是 Hessian 选下游任务对扰动的敏感度。
- 值侧变换可在离线折叠进权重（V→WV、WO），在线零额外开销；键侧变换因 RoPE 无法折叠，放在 RoPE 之后，每新增 token 只多做一次 d×d 矩阵乘。工程上优先折叠 value 侧，key 侧用固定在线 transform，避免逐位置补偿。
- 保留 sink token 和最近 token 的 FP16 窗口（例如 sink=64, recent=256）并用批量量化 flush（chunk 8/16）可在大幅降低平均位宽时保护长上下文和生成质量；该策略与具体量化器无关，可直接迁移。
- 校准只需 128 条序列、一次完成，跨 bitwidth 复用；量化器可选 QuEST 或 OSCAR-style percentile-clipped affine，证明 WUSH 与 QuEST 搭配接近最优。在 SGLang 中集成时，可沿用 OSCAR 的 cache 管理策略，不必为 WUSH 重新调参。
评估土耳其语领域文档中开放权重 LLM 的检索与硬件约束表现
🧭 RAG 评估与本地硬件约束
Edge Hill University, United Kingdom · Ermetal Otomotiv ve Eşya San. Tic. A.Ş., Türkiye
提出证据标注评估协议，分离检索失败与推理失败，发现 4-bit 量化下字符 TF-IDF 检索基线足够强
📌 工作参考价值（4 点）
- 证据标注评估协议可复用：为每个问题标注证据位置，不增加额外模型调用即可把错误拆成「检索没召回」和「模型读到了但答错」。电商/推荐场景做 RAG 或知识库问答评估时，直接照搬这套标注方式，能快速定位是召回侧还是 LLM 生成侧的问题。
- 不要盲目追复杂检索器：7 种 lexical、dense、hybrid 检索配置在统计检验下都没显著超过字符 TF-IDF 基线。业务上如果文档量不大、语言形态丰富（如土耳其语、商品标题/详情），可以先上字符 TF-IDF，再逐步验证 dense/hybrid 的真实增益。
- 4-bit 量化 + 6GB VRAM 本地部署可行：7B-8B 模型在 RTX 3050 上可跑文档问答，端到端准确率 49%-75%。对需要数据隐私或低成本推理的电商客服/选品分析场景，有参考价值；但要注意模型间差异和证据召回饱和现象。
- 统计检验优于看平均分：用 95% Wilson 区间和配对 McNemar 检验比较检索配置，能避免少量样本上的假增益。做策略 AB 测试或检索方案对比时，建议引入同类显著性检验。
面向LLM的全流程FP8强化学习训练稳定性优化
🧭 FP8强化学习训练稳定性优化
University of Wisconsin–Madison · ByteDance Seed
揭示FP8全流程RL中量化噪声扭曲importance ratio导致训练崩溃，提出Calibrated Clipping动态校准剪切界
📌 工作参考价值（4 点）
- 若在电商搜索/推荐Agent或生成式推荐中用FP8做RL微调，除train-inference mismatch外，需重点监控entropy surge和输出乱码，这是重要性比被量化噪声扭曲的早期信号。
- Calibrated Clipping可迁移：在低精度训练时，动态对齐FP8与BF16分布的低位分位数并重新平衡上界，能防止negative-advantage tokens梯度被错误零化，适合GRPO/DAPO等常见RL算法。
- 对生成式推荐或Agent策略优化，FP8全流程加速价值大，但直接套用预训练FP8配置有风险；建议在RL阶段引入基于分位数的动态clipping机制，并监控importance ratio分布。
- 若业务中同时使用多种FP8 scaling granularity，该方法在不同粒度上均有效，可作为通用稳定性补丁。
文本嵌入模型的后训练量化失效图谱：四个模型家族的实测研究
🧭 模型量化与检索嵌入压缩
ThakiCloud
在检索嵌入模型上系统验证量化启发式建议，发现嵌入表保护和模块敏感度排序均不可迁移，蒸馏学生模型在极端量化下更优
📌 工作参考价值（4 点）
- 量化检索 embedding 模型时不要直接套用 LLM 量化经验：embedding table 并不总是需要最高优先保护，INT4/g16 下各模块独立量化损失差异不足 1 个 NDCG 点，均匀量化即可，无需复杂的混合精度分配。
- 在 INT3 及以下位宽，模块敏感度排序因模型家族而异（Qwen 中 FFN 最敏感，BGE-M3 和 E5 中 attention 最敏感），需要针对自有模型重新测量，不能依赖通用排序。
- 重建误差代理可用于筛选全局位宽，但不可用于选择具体保护哪些 tensor，因为其跨位宽的强预测力是 range-extension 伪影；实际选型应在目标检索任务上做 per-query bootstrap 检验。
- 若需 INT3/INT2 极端压缩，可考虑训练一个更小的蒸馏学生模型并量化，可能比直接量化大模型更优（文中 109M 学生 INT3 在 68.4 MB 下 NDCG@10 达 78.04，优于 0.6B 教师量化版本的 64.46 / 297.9 MB），但注意这种优势仅限蒸馏任务内。
为什么训练后量化有效？
🧭 LLM 量化鲁棒性机制 ★ 深度解读
Tsinghua University · Bosch AI Research
发现预训练模型量化鲁棒性源于层间误差抵消与 LM-head 几何对高排名 token 的优先保留，解释 PTQ 为何有效。
📌 工作参考价值（4 点）
- 在电商搜索/推荐中部署 LLM 做 query 理解、候选生成或 Agent 决策时，4-bit weight-only 量化（如 NVFP4 RTN）能基本保持 top-k 预测稳定（Ret@10/20≈85%），可直接采用低精度推理节省成本，不必担心高排名候选被破坏。
- 量化误差在层间存在“抵消”效应，说明常规 PTQ 校准并非每层都需要精细调整；可以优先关注输出层和 LM-head 对准，而非逐层最小化隐藏状态误差。
- 若业务依赖长尾 token（例如 niche 品类词、冷门 Semantic ID），需注意量化对低排名 token 的概率扰动更大，建议对长尾候选单独评估或保持关键生成路径高精度。
- 对于需要高一致性的 Agent 多步推理，量化后 top-1 翻转率约 8-13%，仍有风险；在关键决策步骤可采用混合精度或保留 LM-head 及关键层为 BF16。
硬件感知的 FP4 FlashAttention-4：全 FP4 前向推理与量化反向传播
🧭 Transformer 注意力 FP4 量化加速
Graphcore Research
Direct-P 将注意力分数直接映射为 FP4 概率，GB200 上前向吞吐达 BF16 的 2.13 倍，8B 模型训练更新加速 1.14 倍
📌 工作参考价值（4 点）
- 推荐/广告场景中大量使用 Transformer 处理用户行为序列，注意力算子是性能瓶颈；Direct-P 将 softmax 后的概率直接量化为 FP4，避免中间 FP32/FP16 转换，可显著提升在线推理吞吐、降低时延。
- 训练侧采用“前向量化 Q/K，反向重建概率并使用 FP8 梯度操作数”的混合精度方案，比直接使用 FP4 概率/值更稳定；实际部署时可借鉴该方案避免训练发散，同时获得 1.14 倍的 8B 模型更新加速。
- 若业务使用长序列注意力（如用户行为序列、会话建模），可评估 FP4 注意力对精度的影响；论文结果表明概率 FP4 量化在非因果推理下可行，但训练中 MXFP4 概率/值易发散，需谨慎验证。
- 工程实现上，可将注意力中间结果（概率矩阵）显式量化并落到片上存储，减少 HBM 读写，类似 FlashAttention 的 tiling 策略与 FP4 结合能榨取 Blackwell 张量核性能。
Gated DeltaNet 为何能承受 4-bit 量化：混合 27B LLM 循环部分的 NVFP4 W4A4
🧭 混合 LLM 循环层 4-bit 量化推理优化
Minima AI
对 Qwen3.8-27B 全部 496 个线性层（含 GDN）做 NVFP4 W4A4，精度持平 BF16 且更小更快
📌 工作参考价值（4 点）
- 混合架构中 linear-attention/循环层（Gated DeltaNet）可以激进 W4A4，不必保留 8/16-bit；尤其对 decay/write-strength 门控投影，softplus/exponential 和 sigmoid 会压缩 GEMM 误差，量化敏感度低。
- 部署 NVFP4 时若按模块逐层校准，需注意 kernel fusion 后的 global scale 不匹配问题：应统一重算或修正 fused GEMM 的 scale，否则精度会显著下降。
- 长上下文场景可以把 KV cache 用 FP8 存并校准 scale，几乎无性能损失，能恢复约 83% 的长上下文 KV 惩罚；这是低成本优化长文本推理的有效手段。
- 16-element block scaling 能有效控制残差流中的极端 outlier，对电商/Agent 场景下需要低比特推理的混合 LLM 是一条可复用的工程路径。
无索引动态边缘检索：能量尾部感知的部分扫描
🧭 边缘向量检索加速 · 动态 MIPS
Khalifa University
提出 ETAR，通过保留查询高能量坐标与低精度表示加速动态 MIPS，兼顾高召回与简单更新
📌 工作参考价值（4 点）
- 在推荐系统召回阶段，若使用内积打分（如双塔 embedding），可借鉴 ETAR 的查询能量裁剪思路：对 query 向量按平方值从大到小累加，直到覆盖总能量的 90%-95%，仅在这些维度上做部分内积，跳过尾部长尾，大幅减少每次请求的计算量。
- 对于需要频繁更新（新商品上架、用户行为流式更新）的在线召回，ETAR 的无索引设计避免了索引重建成本，天然适配流式数据；可在边缘/移动端部署个性化召回，如手机端本地推荐，利用 ARM 设备上实测最高 6.9 倍加速。
- 低精度表示与全精度 rerank 的组合值得落地：先用低精度（如 int8/float16）估算相似度筛选候选，再对固定数量候选用全精度向量精确重排，实测召回 99.2% 的同时延迟显著下降，适合精度敏感但延迟有限的生产环境。
- 该方法也可用于 Agent 的本地检索记忆或工具调用时的向量匹配，在资源受限环境中实现快速相似度搜索，减少对服务端依赖。
NeoMME：单塔多模态多语言基础编码器，用于高效微调与推理
🧭 多模态原生单塔编码器与视觉文档检索
H Company
提出单塔多模态多语言编码器，用掩码离散扩散预训练，视觉文档检索精度高且吞吐翻倍
📌 工作参考价值（4 点）
- 在电商商品图文检索/视觉搜索中，可以尝试用单塔多模态编码器（图像 patchify + 2层MLP 与文本 token 一起输入 bidirectional Transformer）替代双塔或 VLM 编码器，降低推理延迟和参数规模；NeoMME-260M 在同尺寸下吞吐约为 ColModernVBERT 2x，适合对实时性有要求的召回/粗排。
- 联合训练 dense 和 late-interaction heads，并在索引侧使用层级 token pooling + 非对称量化，可将多模态文档 embedding 压缩 255x 且保留 >95% nDCG@10；该思路可直接迁移到海量商品/广告素材库的向量存储成本优化。
- 多语言原生训练 + 16K 上下文，适合跨境业务中多语言商品标题/详情页与查询的匹配，无需为每种语言单独建塔；也支持编码两张 4K 图，能处理长图文详情页。
- 如果业务已用 ColPali/Qwen-VL 做视觉文档 RAG，可评估用该开源编码器作为更轻量的检索底座，减少 VLM 在非生成式检索任务上的额外开销。
HyQuant：面向 LLM 注意力的混合精度量化框架
🧭 LLM 长上下文推理 · 混合精度量化 ★ 深度解读
Shanghai Jiao Tong University · Xi’an Jiaotong University · Tencent Penglai Lab · Xiamen University
保留 vertical-line token 与局部窗口全精度、其余 KV 低比特，实现长上下文推理的近无损量化加速
📌 工作参考价值（4 点）
- 长上下文/Agent 场景做 KV cache 量化时，不要全局等精度：按列注意力质量选择 top-5% vertical-line token + 最近 W=128 窗口保留 FP16/BF16，其余 4-bit，可在 LongBench/GSM8K 上接近全精度；该模式可直接迁移到电商导购 Agent 的长期对话历史、RAG 长 prompt 缓存。
- 工程实现上，把 dequantize 融合进 attention kernel 的 online softmax 扫描，避免先材料化全精度 KV；在 H100 上 32K 前缀 decode kernel 相对 FA2 达 3.58×、端到端 1.17×；对广告/搜索的 LLM serving 能降低显存带宽压力，显存不足时也可以跑更大 batch。
- Vertical-line 识别只需累加 attention 概率列和，额外 runtime 约 3-5%；用 tail-query proxy 且每 64 tokens 更新，避免逐 token 全局打分，可作为轻量重要性评估器与稀疏/eviction 策略配合。
- 局限：短上下文收益有限，且未在 coding/agentic 任务评估；接入长提示或 long CoT 前应先在自家任务验证 vertical-line 稳定性。
目标感知的校准数据选择：在量化语言模型中保持不确定性
🧭 LLM 量化校准与不确定性保持
Yale University · The Hong Kong University of Science and Technology · The Hong Kong University of Science and Technology (Guangzhou) · City University of Hong Kong · Shanghai Institute of Optics and Fine Mechanics
提出 DPQ 配方族，用全精度预测选择高不确定样本与通用锚点构建目标对齐的量化校准集，保持不确定性行为。
📌 工作参考价值（4 点）
- 在电商/广告/Agent 场景部署量化 LLM 时，如果下游逻辑依赖 confidence/abstention（例如低置信度转人工、拒答策略、阈值决策），校准时必须针对业务目标分布选择数据，不能复用通用随机校准集。
- 可直接借鉴 DPQ 的“高 doubt 样本 + 通用锚点”思路：用全精度模型对线上日志打分，筛选边界难例（低 margin、高 entropy、错分类样本）加入校准数据，再混合一定比例通用样本，以保持量化后模型在关键决策边界附近的不确定性排序。
- 不同部署目标需要不同校准配方：如果关心“可回答性边界”（如 FAQ/客服拒答），可增加高怀疑样本比例（类似 DPQ-r75）；如果更关心广泛分类/选择题场景，应选用较温和或单信号（confidence-only / entropy-only）的校准集。
- 该方法属于轻量预量化数据选择，不改量化算法，可配合 GPTQ/AWQ 等主流 PTQ 框架，工程改造成本低，便于在推理优化阶段做 A/B 对比验证。
QUASAR：通过损失感知重建降低量化感知训练的损失下界
🧭 量化感知训练 · 损失感知重建 ★ 深度解读
Cornell University · Together AI
将损失感知重建引入 QAT 训练循环，用 Adam 二阶矩做 saliency 进行尺度搜索和加权最小二乘拟合，压低低比特模型 loss floor
📌 工作参考价值（4 点）
- 低比特部署 LLM 时，若线上沿用 PTQ 掉点明显，可切换到 QUASAR 式 QAT：保持 weight-only 量化，不增加推理 overhead，训练开销仅 +1.4%。对需要长期稳定低延迟的推荐/Agent 推理服务有直接落地价值。
- 可直接复用两个 trick：用 AdamW 的 second moment \(v_t\) 作为权重的 saliency 估计，无需额外 Hessian 计算/存储；每步在 [0.3,1.0] 范围内搜索裁剪因子，并对反量化 scale/zero-point 做 saliency 加权最小二乘闭式求解，插入现有训练循环成本极低。
- 在 2-bit 这类极端低精度下，QAT 对数学推理和长链 Agent 任务质量影响显著；QUASAR 直接低比特 SFT 平均数学基准比最强 baseline 高 10.9 点，且是唯一在 HMMT'25 上非零的方法，说明保住长生成能力很关键。
- 该方法兼容 NVFP4 等生产格式，可把同样思路迁移到 MXFP4 或自定义 block-scaled 格式；迁移时只需调整候选 scale 与网格约束，核心目标不变。
GPTQ-2D：立方时间双边自适应舍入
🧭 矩阵量化 · 双边自适应舍入加速
Institute of Science and Technology Austria (ISTA) · ETH Zürich · Red Hat AI
将 GPTQ 自适应舍入扩展到双边情形，通过反对角线并行化实现立方时间复杂度
📌 工作参考价值（4 点）
- 当推荐模型（如双塔 embedding 或交互矩阵）存在双侧线性变换时，可用 GPTQ-2D 做联合量化，比分别单侧量化精度更高
- 反对角线并行化机制可直接用于加速大规模 embedding 矩阵的离线量化压缩过程
- 如果业务中有 Kronecker 结构误差度量（如特征交叉矩阵压缩），可复用该立方时间算法
- 对于需要同时考虑输入/输出基变换的权重量化场景（如 attention 的 QK 投影），该方法提供了可工程化的快速实现思路
KroQuant：基于Kronecker结构化块变换的扩散模型高效训练后量化
🧭 扩散模型训练后量化：Kronecker块变换
提出KroQuant，用学习的Kronecker结构化块变换对激活做32元素块量化，比SmoothQuant更快且精度更高
📌 工作参考价值（4 点）
- 在推荐模型量化部署中，可借鉴KroQuant的块级Kronecker变换抑制激活异常值，参数少、在线开销低，适合实时推理。
- 将量化变换设计为32元素块的小GEMM，直接利用GPU Tensor Core加速，延迟更低。
- 离线LoRaQ权重校准可吸收量化后残差，提升精度，可作为PTQ流程的通用后处理步骤。
- 局部块变换替代全矩阵变换的思路，在保持量化质量同时大幅降低计算成本，适合搜索推荐系统的高吞吐需求。
QuantiBias：量化 LLM 的开放式偏见基准测试
🧭 量化偏差评测
University of Southern California
量化模型通过标准安全检测却常在开放式生成中输出刻板印象，须单独评估
📌 工作参考价值（3 点）
- 业务中部署量化 LLM（如对话推荐、广告文案生成）时，仅靠拒绝检测和选择题安全评估不够，需补充开放式生成场景的偏差抽样，否则可能放大隐性刻板印象。
- 可借鉴 QuantiBias 的控制条件设计：配对无害/有害拒绝探测、多项选择与开放式生成，构建内部审查工具，精确分离生成过程中的偏见来源。
- 尝试在 prompt 中引导模型逐步推理（CoT），可能在某些 backbone 上显著降低量化引入的开放式偏见（实验中减半），可作为无成本的缓解措施先上线验证。
PagedWeight：基于动态质量感知量化的高效 MoE LLM 推理
🧭 MoE 推理优化 · 动态量化
University of Illinois Urbana-Champaign
通过运行时动态量化 MoE 专家权重，在 KV 缓存压力下平衡精度与内存，最高节省 72% 显存并提升 1.94 倍吞吐
📌 工作参考价值（4 点）
- 在电商大模型（如多专家推荐、多任务模型）的推理部署中，可借鉴 PagedWeight 的动态量化策略：依据请求负载和剩余 KV 缓存空间，实时调整专家权重的量化精度，避免 OOM 同时保留推荐质量。
- 系统设计上，可引入“精度-内存-延迟”三维感知的调度器，类似 PagedWeight 的质量感知策略，在延迟约束下动态为不同专家分配不同位宽，相比静态均匀量化可大幅提高内存利用率。
- 当推荐模型规模膨胀到需要多 GPU 或 KV 缓存成为瓶颈时，权重的页式管理（paged offloading/quantization）思路可直接复用，通过将非活跃专家权重以低精度或卸载方式管理，降低常驻显存。
- 实验中表明，在同等显存预算下，PagedWeight 比强 baseline（如 GPTQ、AWQ）质量提升最高 39.3%，证明动态精度分配比固定量化有显著收益，业务中可优先考虑实现“按需精度”而非全局统一量化。
BiSCo-LLM：面向大语言模型极端低比特的无码本二进制球形编码压缩
🧭 LLM 极端低比特压缩
提出无码本二进制球形编码框架，结合残差编码与恢复蒸馏，在 2 比特/权重下保持 LLM 性能
📌 工作参考价值（4 点）
- 推荐系统部署大型 Transformer 模型时，可借鉴球形编码将权重压缩至 2 比特，显著减少显存和带宽压力，且无需存储码本，避免查找开销，适合在线推理。
- 采用残差编码路径可灵活控制压缩率与精度，工程上可按模块重要性分配比特，优先保证敏感层精度，适用于参数量大的生成式推荐模型。
- 敏感通道保护策略（保留少量 8 比特通道）与 LoRA 适配器联合使用，可在极低比特下稳定模型行为，推荐系统在压缩特征交叉网络或用户编码器时可复用。
- 恢复蒸馏直接在模块替换后对齐输出分布，优于逐层重建，能更好保持端到端推荐效果，对压缩后微调流程有直接参考价值。
OrbitQuant：图像与视频扩散 Transformer 的数据无关量化
🧭 扩散 Transformer PTQ · 数据无关旋转量化
Cantina Labs · University of Southern California · University of Illinois Urbana-Champaign
在归一化旋转基上量化，用固定码本适应所有时间步和模态，无需数据重校正，将 DiT PTQ 推进到 W2A4。
📌 工作参考价值（4 点）
- 对推荐系统中可能使用的 Transformer 或扩散生成模型，旋转基量化可消除校准集依赖，避免因用户行为分布漂移而反复重校。
- 权重旋转离线吸收进线性层，推理时仅对激活做前向旋转，工程实现简洁高效，可直接参考其算子融合技巧。
- 单一码本跨层复用，大幅降低推荐模型量化时的码本存储与设计复杂度，适合存储受限的线上环境。
- W2A4 极低比特可成倍压缩推理带宽，在电商直播、短视频内容生成等需高吞吐的 GPU 受限场景具备直接落地价值。
BitNet文本嵌入：极端低比特LLM语义表示
🧭 极端低比特嵌入模型的量化训练与多精度存储 ★ 深度解读
Peking University · Microsoft Research
将LLM转换为1.58位BitNet嵌入器，配合对比预训练与蒸馏，实现接近全精度性能并支持多精度存储
📌 工作参考价值（4 点）
- 线上推理加速：将LLM嵌入骨干量化为1.58位三值权重与8位激活，CPU吞吐量提升约2倍，适合电商搜索/推荐场景的实时查询编码。
- 多精度向量索引：单个模型可输出1/2/4/8/16位嵌入，按存储预算灵活选择精度而不需重新训练，大幅降低向量数据库成本。
- 蒸馏策略可复用：相似度分布蒸馏（KL散度对齐批内候选分布）与注意力关系蒸馏（单层多头自注意力关系对齐）能有效补偿量化损失，可迁移至其他模型压缩任务。
- 工程稳定技巧：在每层Transformer内插入子层归一化 (SubLN)，缓解量化带来的激活尺度漂移，使极端低比特训练更稳定。
重新思考LLM FP4预训练中的收缩偏置：几何根源与UFP4方案
🧭 低精度训练 · FP4均匀网格 ★ 深度解读
Ant Group
指出非均匀E2M1格式固有的收缩偏置被RHT放大导致训练不稳定，提出基于均匀E1M2网格与全RHT相结合的UFP4训练配方
📌 工作参考价值（4 点）
- 当对推荐模型做低比特量化或采用类似RHT的旋转预处理时，优先选用均匀网格（INT4/E1M2），因为非均匀格式（E2M1）的舍入偏置会在深层网络积累，而均匀网格不存在该问题。
- 若使用FP4训练LLM-based推荐模型，可借鉴UFP4的配方：将RHT扩展到前向、数据梯度、权重梯度三个GEMM，仅对dY使用随机舍入；该设计在1.5B~124B的实验中稳定降低了与BF16的loss差距。
- 收缩偏置是一个容易被忽视的几何缺陷：当量化区块不对称时，即使是零均值的分布也会产生系统性负误差，造成信号衰减；在自研或选用量化方案时，应检查舍入bin的对称性，而非只关注动态范围。
- 在只有E2M1硬件的场景下，试图通过限制最大可表示值来模拟均匀网格效果不佳，未来若能为推荐训练引入FP4加速，应争取支持均匀4-bit格式作为第一等训练原语。
量化如何限制密集 top-k 检索？一项理论分析
🧭 密集检索 · 向量量化理论
NTT, Inc.
证明在量化精度下，嵌入维度必须随语料库规模对数增长，打破了无限精度下维度与 N 无关的结论。
📌 工作参考价值（4 点）
- 在电商推荐的大规模向量检索中，若采用标量量化或乘积量化压缩向量，随着商品库增长，需同步提升嵌入维度或量化精度，否则 top-k 检索的完备性会下降。
- 可根据理论关系 $Bd = \Omega(k\ln N)$ 评估当前系统的量化配置是否安全：给定 $N$、$k$ 和每个坐标的比特数 $B$，反推所需最小维度 $d$，作为系统扩展的参考。
- 在 Agent 或 RAG 场景中，若使用向量数据库存储外部记忆或工具描述，量化压缩策略需考虑检索任务复杂度（$k$ 的大小）与记忆条目数 $N$ 的乘积效应，避免精度不足导致的检索失败。
- 提示工程或检索增强流程中，若融合多个量化向量索引（如多级 PQ），推荐根据总比特预算 $Bd$ 分配资源，而非孤立压缩，以维持检索表达力。
LLMCodec: 用视频编解码器高效压缩大模型权重
🧭 模型压缩 · 仿射量化与视频编码
Shanghai Jiao Tong University
将视频编解码器VVC/H.266与仿射量化结合，无需微调即可高压缩LLM权重，显著降低困惑度并提升下游精度
📌 工作参考价值（4 点）
- 权重压缩方法可直接用于电商推荐模型部署，在边缘设备或带宽受限场景下降低模型体积和传输成本
- 视频编解码器对矩阵数据的结构化压缩思路可迁移到推荐系统Embedding表的压缩，利用现有硬件编解码加速
- 无需校准数据或微调的压缩流程适合在线学习场景，模型更新后无需重新校准即可快速压缩发布
- 2-bit极限压缩下仍保持较低困惑度，为Agent场景中的轻量化LLM本地部署提供新的压缩方案
OScaR：极端KV缓存量化的奥卡姆剃刀
🧭 LLM推理优化 · INT2 KV缓存量化
Tsinghua University · Meituan LongCat Team · The University of Hong Kong · The University of Edinburgh · UCAS
OScaR通过Canalized Rotation与Omni-Token Scaling解决Token Norm Imbalance，实现INT2近乎无损KV缓存量化，解码加速3.0×
📌 工作参考价值（4 点）
- INT2 KV缓存部署：电商对话或实时推荐场景中，用OScaR的INT2量化可降低96%的KV缓存内存（5.3×），结合3.0×解码加速，适合高并发低延迟需求。
- 轻量集成路径：Canalized Rotation + Omni-Token Scaling无需复杂重采样或辅助模型，仅需少量显式变换，可直接插入现有Transformer推理管线，降低工程复杂度。
- 多模态量化统一：OScaR已覆盖文本、多模态及全模态LLM，对购物图文推荐中的多模态模型KV缓存压缩同样有效，避免为不同模态设计多套量化方案。
- CUDA Kernel优化：论文提供的定制化CUDA kernel将旋转与缩放无缝融合，可借鉴其极简高效的设计思路加速自研模型推理。
扩大差距：通过离群值注入利用LLM量化
🧭 LLM ★ 深度解读
ETH Zurich
首次通过注入离群值让LLM在量化后触发恶意行为，成功攻破GPTQ、AWQ等优化型量化
量化永久遗忘：通过电路归因实现抗压缩的机器遗忘
🧭 LLM ★ 深度解读
Lexsi Labs
提出 MANSU 框架，利用电路归因与量级底线保证 4-bit 量化后遗忘不逆转
XFP：面向LLM推理的质量驱动自适应码簿量化与稀疏异常值分离
🧭 LLM ★ 深度解读
Gemini Stiftung Leipzig
让操作者设定余弦相似度质量下限，自动决定每层最小位宽，实现消费级GPU上的大模型高效推理