不同任务不同去噪步：扩散语言模型的任务-时间感知量化
🧭 扩散语言模型 · 混合精度量化
Technion – Israel Institute of Technology · INSIGHT Lab, Ben-Gurion University of the Negev
发现扩散语言模型量化敏感性随任务与去噪步变化，提出无标签信号驱动的混合精度量化框架T2Quant
📌 工作参考价值（4 点）
- 若部署扩散语言模型做生成式推荐/Agent文本生成，可对去噪过程不同时间步做混合精度量化，而非全程统一位宽：在任务敏感步分配更高精度，其他步降低精度，能在固定显存/算力预算下提升生成质量。
- 采用无标签的敏感性信号（如全精度与量化模型输出分布的KL散度）离线为不同任务、不同时间步生成量化位宽策略，避免每个下游任务都需真实标注或评测指标，便于快速适配新业务场景。
- 该混合精度框架可与现有量化方法叠加（即插即用），工程上只需在推理时按步动态切换激活精度，不涉及模型重新训练；对需要反复去噪的扩散generation pipeline（如商品标题、推荐理由、Agent规划）可有效降低推理成本。
- 注意：这一结论源于扩散语言模型，若业务使用自回归LLM则借鉴有限；但若采用扩散或迭代解码架构，应避免沿用AR静态量化假设，需重新评估时间步/任务维度的敏感性。
预测量化价格以在部署前选择 PTQ 配置
🧭 LLM 权重 PTQ 配置选择与价格预测 ★ 深度解读
HKUST-GZ
用 forward KL 诱导的二次价格统一比较位宽、粒度、变换等 PTQ 配置，实现预算约束下的部署前选择
📌 工作参考价值（4 点）
- 部署 LLM 推荐/Agent 模型时，可用校准时价格表快速筛选量化配置（位宽、粒度、预量化变换），避免反复构建完整量化模型，节省大量实验时间。
- 把量化配置视为统一候选，用输出侧曲率加权误差协方差（而非仅重建误差或输入对角线统计）排序，能更贴近下游任务效果，适合对线上精度敏感的生成式推荐/Agent 场景。
- 在成本受限的部署（如端侧推理）中，引入部署成本约束做 budgeted search，显式权衡精度与资源，对工程实现有直接参考价值。
- 实现上只需 Hutchinson 估计曲率迹和扰动矩，不需要完整 Hessian，可作为轻量校准步骤嵌入现有 PTQ 流程。
TileMix：面向 LLM 推理加速的 Tile 中心混合精度注意力
🧭 LLM 推理 · 混合精度注意力 kernel ★ 深度解读
University of North Texas · Saint Louis University
通过 tile 分组路由 FP16/INT8 注意力计算，在保留 dense 连接的同时加速长上下文 prefill 并恢复质量
📌 工作参考价值（3 点）
- 长上下文 RAG / Agent memory / 多跳检索场景中，prefill 是延迟大头；可借鉴按 attention score tile 分组做混合精度（关键区域 FP16，其余 INT8），而不是整层 uniform INT8，能在质量和吞吐之间拿到更好 trade-off，且无需训练或改模型权重。
- 路由模板可直接复用稀疏注意力的空间先验（local band / global / random / SpTrans / BigBird），但只决定精度路径、不删除 token 交互；业务上可先用静态模板快速验证哪些位置对效果敏感，再考虑升级为自适应或 learnable 路由。
- INT8 KV cache + per-block scale 能降低显存和 decode 成本，同时 V 保持 FP16 做 PV 更新，工程风险较低；如果使用 FlashAttention-style serving，可参考其 shared online-softmax 状态与 bitmask constant-time 查找的集成方式，支持 GQA 和 variable-length batching。
KronQ：基于Kronecker分解的LLM量化框架
🧭 LLM 后训练量化 · Kronecker 分解 ★ 深度解读
University of Southern California · Yale University
引入梯度协方差实现双向非相干处理与混合精度分配，显著提升2-bit量化性能
📌 工作参考价值（4 点）
- 量化推荐系统中的Transformer层时，额外引入梯度协方差HG可弥补仅使用激活协方差HX的不足，极大改善低比特（特别是2-bit）下模型崩溃问题。
- 双向非相干预处理（对输入和输出维度都应用随机Hadamard旋转+对角缩放）能平滑权重幅度方差，可应用于广告/推荐模型的注意力层或MLP层，减少量化误差。
- 基于tr(HG)·tr(HX)的混合精度分配方法能够区分共享输入的Q/K/V投影，为不同子层分配合适位宽，可直接用于推荐模型的多层精度调优。
- 方法计算高效：HG仅需一次反向传播，且量化更新中HG代数抵消，不增加推理开销，适合低延迟在线服务。
CONF-KV：面向长序列LLM的置信度感知KV缓存淘汰与混合精度存储
🧭 长上下文LLM推理 · 置信度驱动KV缓存淘汰
Carnegie Mellon University
利用模型生成时的置信度动态调整KV缓存预算，结合混合精度存储和分层金字塔预算，在低内存下保持长文本理解精度。
📌 工作参考价值（4 点）
- 电商Agent等长对话/工具调用场景中，KV缓存迅速膨胀，可借鉴置信度感知淘汰策略：当模型对下一token预测不确定时保留更多历史，减少关键信息丢失；预测置信时激进剪枝，节省显存。
- 混合精度存储（FP16/INT8）可有效压缩KV缓存，结合淘汰策略进一步降低内存占用，适合资源受限的在线服务部署。
- 金字塔逐层预算分配（浅层保留较多token，深层保留较少）可平衡信息保留与计算开销，可结合具体模型结构调整各层预算比例。
- 保护最近窗口（如固定最近若干token）保证局部连贯性，与置信度驱动预算结合，简单有效，可直接应用于现有Agent系统。