随机舍入 SGD 的比特数、训练时间与模型规模缩放定律
🧭 低精度训练 · 随机舍入 scaling laws
University of California, Berkeley · ICSI · LBNL
在两层线性网络上证明随机舍入 SGD 预测误差上下界，给出精度、模型规模与训练时间的 compute-optimal scaling 法则
📌 工作参考价值（4 点）
- 在 LLM/推荐模型低精度训练中优先用随机舍入替代就近舍入，尤其前向激活可低至 8bit/4bit，但反向特征需保留更高精度或单独调度，否则会改变 compute-optimal scaling。
- 采用 EMA/参数平均时，可重新评估各计算环节精度需求：论文表明参数平均会改变哪一阶段需要更高精度，因此推荐训练中的参数平均（如模型合并、Polyak）可搭配更激进的前向量化而不伤害最终效果。
- 固定算力预算下，若需要扩模型或加训练时间，可尝试降低精度换取更多 FLOPs/epochs；在电商搜索推荐的大规模模型训练中，这可能优于保持 BF16/FP32 的小模型。
- 学习率调度需随反向舍入精度调整：部署低精度反向时，原最优学习率可能失效，需搜索并配合 warmup/衰减，避免训练不稳定或收敛变慢。
EmbeddingGemma 2：统一高效多模态表征模型
🧭 多模态统一 embedding · 蒸馏与对比学习 ★ 深度解读
Google DeepMind · Google
744M 多模态 embedding 模型，以多阶段课程训练在文本/视觉/音频基准上达到新 Pareto 前沿，支持量化与截断部署
📌 工作参考价值（4 点）
- 统一商品多模态表示：图/文/视频/音频 natively 编码，适合电商搜索/推荐中的跨模态召回（如图搜商品、视频理解），避免先 ASR/OCR 再文本 embedding 的管线损失。
- 训练 recipe：先纯文本预微调（蒸馏）再多模态预微调（蒸馏），最后用对比 + spread-out + MRL 微调；加入 same-tower negatives 和 Plackett-Luce listwise loss，有利于排序/检索任务。
- 工程部署：用可调 vision token budget（70-1120）和 MRL 截断维度（768/512/256/128）做资源-质量 trade-off；QAT 后 int4 量化在手机上 <600MB，可在端侧实时出 embedding。
- 消融结论：多模态任务上 trainable vision encoder 比 frozen 大幅提升（MMEB-v2 52.27 vs 48.18）；native audio 比 ASR 提升 MSEB 69.54 vs 57.59，建议直接编码原始音频而非转写。
公共模型库中量化 LLM 工件非功能性失效及其检测
🧭 LLM 量化模型验收与发布测试
Independent Researcher
审计 Ollama 与 Hugging Face 量化模型发现 2.3% 低比特小模型功能失效，并证明校准可修复
📌 工作参考价值（4 点）
- 发布内部量化/蒸馏模型到模型库或线上前，构建轻量功能 smoke test（如代码生成 15-50 条业务相关 prompts）拦截“看似正常但输出失效”的模型，尤其对 2-4bit 小模型。
- 量化配方要作为模型元数据记录并在发布前验证：是否使用 importance matrix/calibration 数据；对低比特小模型优先做校准，论文中 Qwen2.5-Coder-3B 从 0 提升到 76-113/164，说明校准是关键开关。
- 模型验收不能只校验 hash/张量一致性；该研究显示 registry 文件与原权重张量完全一致但仍功能失效，需在目标推理栈上跑端到端任务，而非只做格式或数值对比。
- 对线上 Agent/推荐 LLM，建议建立“模型健康度回归集”，按量化级别和参数规模分层采样测试；低比特（≤4B 参数）模型发布应强制功能测试，避免上线即不可用。
低比特 N-Gram 嵌入用于语言模型
🧭 n-gram 嵌入低比特量化与内存优化
DualverseAI
低精度存储 n-gram 嵌入表，4-bit 可节省约 75% 表内存且几乎不损失性能
📌 工作参考价值（3 点）
- 若推荐/搜索模型中使用 n-gram 特征嵌入表（如用户行为序列中的连续 token 片段），可尝试 4-bit 量化存储，通常能节省约 75% 内存且性能损失极小，是性价比很高的工程优化。
- 量化后若精度下降，可加入短时微调恢复大部分性能；若内存预算不变，可将节省的内存用于扩大嵌入表容量，反而可能超过原全精度表效果。
- 对于线上已有大模型（如 DeepSeek、Qwen 系列），其 n-gram 模块可直接做低比特量化，实测困惑度增加 <1.2%，下游任务基本不降，适合对内存敏感的场景。
N-Gram 记忆两比特量化：LLM 查找表压缩
🧭 LLM 条件记忆嵌入表压缩
Dnotitia Inc. · KAIST
共享 Gaussian trellis 与 norm restoration 将条件记忆行压缩为 2-bit 码，KL 较 2-bit RTN 降低 41-63%，DeepSeek 表由 203GB 降至 51GB
📌 工作参考价值（4 点）
- 大规模稀疏 embedding 表（用户/商品 ID、行为序列记忆、检索索引）可借鉴 CP 的“短码 + 局部 scale + 共享重建程序”：每行仅存 2-bit 码与 scale，离线共享解码器，线上仅解码被查行，显著降低 GPU 显存占用。
- 独立可解码行记录对推荐推理友好；线上 batch 只查少量 ID，无需全局反量化，可将压缩表常驻 GPU 或高速存储，保持稀疏 lookup 延迟。
- 先统计业务 embedding 坐标是否接近高斯，再选择非均匀量化/格码；若不满足，可先做归一化或白化，配合 norm restoration 使用，避免直接 round-to-nearest 的精度损失。
- 同等存储预算下，共享 trellis 优于 per-table 拟合码本和低秩残差；优先采用全局共享重建结构，训练时联合微调局部 scale，可进一步提升压缩效率。
ReplaySSM：缓存 SSM 输入而非状态
🧭 LLM 推理加速 · SSM 状态缓存优化
Princeton University · NVIDIA
通过 checkpoint 加近期输入缓冲替代逐步状态读写，显著降低 SSM 状态 I/O 并支持高效投机解码与混合精度
📌 工作参考价值（4 点）
- 在线推理中若使用 Mamba-2、Gated DeltaNet 等 SSM 或混合模型，可参考 ReplaySSM 的 checkpoint + input buffer 设计，将状态更新从逐步改为周期性批量更新，减少约一半状态内存流量；直接降低首 token 延迟和长序列 decoding 成本，对搜索推荐场景中的 Agent 长链推理和工具调用尤其有用。
- 投机解码的 rollback 可以从复制/恢复完整状态改为只移动输入 buffer 的指针，极大降低回滚开销；在推荐系统里做批量候选生成或 LLM 推理时，可为投机验证阶段节省内存和计算，提高吞吐。
- 混合精度技巧：输出计算使用低精度 checkpoint，循环更新使用高精度 checkpoint，两个副本分离，避免量化误差进入后续 recurrent state。如果在线模型需要对状态做量化压缩，可采用此方法降低 KL 散度和下游效果损失。
- 工程实现上可以直接集成到 vLLM 等现有推理框架，不要求替换模型结构；业务中若已使用 vLLM 部署 SSM 或混合架构，可评估开启 ReplaySSM 获取 1.2-1.47x 标准解码加速或 1.8x 于投机解码的吞吐提升。
低精度 Transformer 推理中的随机舍入：小 GPT-2 变精度仿真研究
🧭 低精度推理 · 随机舍入策略
Krembil Centre for Neuroinformatics, Centre for Addiction and Mental Health · Université Paris-Saclay, UVSQ, LI-PaRAD
系统研究低精度 Transformer 中随机舍入与就近舍入的逐位置权衡，发现 MLP 输出宜用 SR、LM head 宜用 RN，混合配置可显著降低困惑度损失
📌 工作参考价值（3 点）
- 在低比特部署 LLM 时，不要全局统一舍入策略：对长 reduction 的 MLP 输出（尤其 down-projection）优先尝试随机舍入 SR，可显著抑制误差累积；而在 LM head 保留就近舍入 RN，避免引入非均匀 logit 方差导致 softmax 损失增加。
- 混合精度方案可将 SR 用于 MLP、RN 用于 head，实验中在 t=6 时把 perplexity 损失从等位 RN 的约 2.21x 降至 1.10x，减少约 28%，这对电商搜索/推荐中的文案生成、query 改写等低比特小模型很实用。
- 借助 PRISM 变精度随机舍入（VPSR）算法可离线评估不同层/操作的舍入策略，无需真实低精度硬件即可进行 what-if 分析，适合在量化工具链中作为 auto-tuning 组件。
LeapQuant：线性注意力循环状态的近无损量化与高效推理
🧭 线性注意力状态量化 · 推理加速 ★ 深度解读
UC Berkeley · University of Washington · MIT · Perplexity AI · NVIDIA
通过 per-window 量化与 Compensator Tokens 实现 GDN/KDA 状态 8-bit 近无损，端到端加速 1.47×
📌 工作参考价值（4 点）
- 长序列用户行为模型的状态压缩：电商/推荐中常用线性注意力或 SSM 建模用户长序列行为，其 recurrent state 是显存带宽瓶颈。可直接借鉴 per-window 量化：窗口内保持低比特边界状态 + 高精度 buffer 更新，仅在窗口边界重建量化，避免逐 token 误差累积；p=16、INT8 的配置可直接实验。
- 用低秩补偿 token 处理状态 outlier：用户序列或 LLM agent 长轨迹的状态矩阵常有少数行/列异常值，直接量化会放大误差。可以学 Compensator Tokens：拟合 r=4 的 FP16 低秩成分保留高精度，残差做 channel-wise smoothing 后再量化；对电商场景中的行为状态矩阵同样适用。
- 长上下文 LLM serving 显存优化：如果业务中部署 hybrid 线性注意力模型（如 Qwen3.5、Kimi、GLM 系列），对 recurrent state 做 8-bit 量化可降低 prefix caching 状态存储 41–56%，直接提升单卡并发；端到端吞吐提升 1.23–1.65×，在长 reasoning/Agent 任务里收益明显。
- 工程超参决策参考：窗口长度 p=16 是精度与 kernel 速度的甜点，过长会导致 buffer 读取增多、kernel 提速下降；Compensator Token 数量 r=4 精度饱和，r 超过 8 会暴露计算开销。这些经验可直接用于自研线性注意力推理内核的量化配置。
OPTQ 的泛化行为与正则化作用
🧭 模型量化泛化理论
University of California, San Diego
为 OPTQ 及其随机变体建立泛化误差上界，并提出更优的正则化参数选择
📌 工作参考价值（4 点）
- 在做 LLM 部署量化（如推荐系统的排序大模型、Agent 规划模型做 INT4/INT8 量化）时，OPTQ 校准集的正则项 λ 不要沿用默认值，可参考文中理论选择方式，可能显著降低线上量化误差。
- 若业务场景数据分布随时间漂移（电商大促、季节性变化），可考虑 stochastic OPTQ 这类随机化量化，其泛化误差界不依赖特定校准集，对分布鲁棒性更强。
- 论文提供量化误差与校准集大小、分布匹配的理论关系，可用于指导校准集构建：尽量保证校准集与线上分布同源、样本量足够，避免离线效果好但线上掉点。
- 总体学术性较强，除上述适用点外，大部分理论结果难以直接落地；业务团队可关注其 λ 选择建议或对量化工具的超参数默认值做调整实验。
Fathom：面向 offloaded KV cache 的按查询读取深度稀疏解码
🧭 LLM 稀疏注意力推理优化
按查询动态分配 bit 预算扫描量化 KV cache，在 offload 场景下减少带宽并加速解码
📌 工作参考价值（4 点）
- 如果业务中长上下文 LLM（如电商客服 Agent、浏览助手）的 KV cache 被 offload 到主机内存，top-k 扫描会成为解码瓶颈；Fathom 的按查询动态位预算可以直接用于减少跨 interconnect 的字节流量。
- 采用 4-bit K cache 按 channel-major 位平面存储，查询利用 reverse water-filling 在 variance-weighted channel importance 上分配读取位数，可以在相同 GPU 耗时下读更少字节、获得更低注意力误差，适合对延迟敏感且 buffer 在 host memory 的线上服务。
- 该方法在 RULER 任务上每个 token 扫描匹配 exact top-k，说明动态位分配不会牺牲 ranking 准确性，可安全替代固定位宽扫描（如 Double Sparsity、Loki、SparQ）以降低带宽成本。
- 注意：该方法仅在 KV 索引驻留主机内存时有效，GPU 常驻 cache 不需要；工程落地时需先判断索引位置，避免盲目引入。
VC-Attention：值平滑与 Softmax 投影的低比特注意力
🧭 低比特注意力 · 量化推理加速
Nunchux AI · MIT · CMU · UC Berkeley · Stanford
训练免费的低比特注意力框架，用值平滑和融合概率投影同时提升量化和速度
📌 工作参考价值（4 点）
- 低比特激活量化中，value 异常值往往无固定通道/时空结构，可借鉴 V-Smooth：先对 token 做轻量在线聚类，使硬件 block 内分布更均匀，再对残差（减去块均值）量化，利用 online softmax 维护的 row sum 恢复均值；该方法无需重训，可直接套用到 Transformer 排序模型或 LLM-based Agent 的 attention 推理加速。
- softmax 高精度指数是低比特 attention 的非 GEMM 瓶颈，ExpCast-FP8 把 log-domain 分数直接映射为 E4M3 概率码，用一次融合乘加替代 FP32 指数和格式转换，可迁移到 LLM 推理 kernel，提高 Tensor Core 利用率、降低 pipeline 阻塞。
- 工程上关注到 block 量化尺度由最大值决定、典型值代表范围窄的问题；通过 token 重排 + 残差量化减少误差，这种思路也适用于 embedding/特征的低比特压缩。
- 该工作展示了在多种新 GPU 上对 attention kernel 的精细优化，可作为自研推理引擎中 attention 低比特实现的参考基线；但业务侧若以 CPU/通用 GPU 为主，需要评估移植成本。
模型感知紧凑语义检索的 Matryoshka 哈希表示
🧭 嵌套哈希压缩 · 语义检索索引 ★ 深度解读
The Chinese University of Hong Kong, Shenzhen
两级训练哈希码，分离全宽训练与前缀组织，实现8/16/32字节嵌套二进制码在零样本检索上全面超越PQ/JPQ
📌 工作参考价值（4 点）
- 在向量召回/RAG 索引中，存储成本敏感时可采用 MHR 两阶段训练：先训练全宽 binary code 保证排序质量，再冻结编码器训练零初始化残差适配器让前缀可搜索，避免直接多前缀联合训练的跷跷板效应。
- 查询侧保留连续 logits、文档侧 hard sign 的不对称打分在检索质量与存储间取得平衡，并可映射到 FAISS IndexPQFastScan 的 analytic LUT 实现约 8.7× 加速；电商商品 embedding 检索可借鉴，尤其 CPU 服务。
- 嵌套前缀码可作为一个通用压缩 payload 在 IVF、HNSW/LEANN 剪枝、粗排过滤中复用，无需按不同字节预算重编码 corpus；可在推荐系统召回/粗排阶段用 8/16/32 字节嵌套码做自适应候选筛选，再对少量候选 full-precision rerank，接近浮点效果。
- 源域训练的 model-aware discrete code 在零样本域迁移上优于 reconstruction-based PQ/OPQ，说明用业务点击/成交等排序信号训练离散码比重建误差更值得投入；推荐场景可替换 PQ 作为 drop-in 压缩。
SQS：基于稀疏量化子分布的贝叶斯 DNN 压缩
🧭 模型压缩 · 贝叶斯变分推断
Purdue University · University of Texas at El Paso
用 spike-and-slab 先验与高斯混合模型统一贝叶斯剪枝与量化，压缩率更高且精度损失相当
📌 工作参考价值（4 点）
- 统一压缩替代两阶段：电商/广告排序塔及 LLM-based reranker 对推理延迟和内存敏感，可借鉴 SQS 把稀疏化和量化作为同一个变分学习问题，避免先剪枝再量化带来的误差累积；对 embedding 层、FFN 层可分别设置稀疏率和码本宽度。
- 可微的先验/近似方案：spike-and-slab 先验天然支持非结构化剪枝，GMM 后验提供量化码本均值，整体保持可微优化；工程落地时可用更轻量的近似替代复杂积分。
- 面向 LLM 部署可迁移：论文在 Llama3.2、Qwen2.5 上验证，说明适合本地部署的 embedding 模型、轻量生成式推荐模型；可按层或 token 粒度做联合压缩，降低 CPU/边缘推理成本。
- 注意：低 bit 量化依赖硬件算子和量化校准，需结合 TensorRT/ONNX 等推理框架；论文偏学术方法，业务收益还需线上延迟和精度实测。
UE5M3 FP4 块缩放实现稳定语言模型预训练
🧭 FP4 低精度预训练 · E5M3 block scaling
Graphcore Research
用 E5M3 块缩放替代 RHT 与 BF16 末层豁免，更简单的 FP4 预训练配方，8B 模型 190B tokens 表现优于 NVFP4
📌 工作参考价值（4 点）
- 若团队有自研 LLM 或大规模召回/广告模型持续预训练，可尝试 UE5M3 block scale 代替 RHT：用更宽标度范围减少额外矩阵变换，简化 FP4 训练管线。
- 选择性 stochastic rounding 只作用于 backward gradients，可作为低比特训练/微调 trick 保留优化信号，适合资源受限的广告/内容模型训练。
- 移除 BF16 末层豁免，所有 eligible internal linears 用 FP4，实测吞吐 +21.2%；在做 FP4/NVFP4 推理或训练部署时可以直接复现这个算子策略。
- 若在实时推荐/Agent 中需要 FP4 量化 LLM serving，考虑软件模拟 UE5M3 块缩放，可能降低 pre-processing 延迟并提升 quantized-inference 精度。
Daedalus-150M：专为 CPU 推理设计的卷积-注意力混合模型
🧭 高效小型 LLM 架构 · 卷积-注意力混合
用 12 个短卷积层替代多数注意力层，在 CPU 长文本解码时实现 1.76 倍加速且质量不降
📌 工作参考价值（4 点）
- 对于需要在 CPU 或端侧低延迟推理的轻量级模型（如端侧 query 建议、实时 push 文案生成、边缘排序模型），可以尝试用短卷积替代大部分注意力层，减少 KV cache 读取；在长上下文时加速显著，适合长 prompt 或长序列用户行为建模。
- 目标驱动的架构设计：先固定部署环境（单用户、4-bit、普通 CPU），再反向选择模型结构，比“先设计大模型再压缩”更高效；推荐系统在边缘部署小模型时可复用这一思路。
- 在模型选型时采用预先注册对照实验：固定训练数据和模型尺寸，比较不同架构，并事前确定胜利指标，避免事后挑选；业务团队做架构升级时值得借鉴。
- 注意其报告的负面结果：4-bit 量化有不可忽视的质量损失，部分卷积通道实为冗余且难以修剪，词汇表不宜大于模型规模所需；这些小模型工程细节可直接避免踩坑。
Llama-Mobile：VLM 的高效 2.7-bit 量化
🧭 VLM 量化与移动端高效推理
Graphcore Research · Arm
提出无需原始训练数据的 VLM 量化 pipeline 与 S3D8 2.7-bit 格式，将 Llama 3.2 11B 压缩至 3.7GB 并保持 VQA 性能
📌 工作参考价值（4 点）
- 业务里若需在端侧/边缘部署多模态模型（商品图理解、广告素材审核、图文客服），可借鉴“无原始训练数据 QAT”：用目标模型自生成校准数据，避免数据不可得和分布偏移。
- S3D8 2.7-bit 格式将三个有符号权重打包进一个字节，解码到 INT8 后推理，对 Arm CPU 友好；有移动端导购/Agent 或端上推荐模型时可评估该格式降低内存。
- 量化训练数据选择对性能很敏感：合成与部署分布匹配的数据比通用公开数据更稳，做模型压缩时值得投入数据构造。
- 11B VLM 压缩到 3.7GB 说明移动端内存预算可承载多模态大模型，适合端侧“拍照搜商品/图片问答”等场景。
超越均匀位分配的量化
🧭 向量量化 · 非均匀位分配
Indian Institute of Science · Microsoft Research · Microsoft STCA
针对MRL嵌入提出按连续桶非均匀分配位数的量化框架，等存储下PQ/SQ召回最高提升8%/18%
📌 工作参考价值（4 点）
- 若线上 embedding 具备 MRL 结构（例如多任务/多模态训练或直接使用 MRL 训练），可以放弃 uniform bit allocation，按维度重要性分桶，将更多 bit 分配给高方差/高信息桶，特别在 int4/int8 等低比特压缩下能显著提升召回。
- 工程落地风险低：分桶为 contiguous bucket，利于 cache 和 SIMD；贪心位宽搜索可离线执行，线上查询只使用预计算码本，无额外推理开销。可直接在 DiskANN 等向量索引层实现，开源代码可参考。
- 对商品/用户 embedding 大规模建库时，先做小样本统计分析维度方差/重要性，若存在递减或聚类结构，可考虑 variable bit allocation；存储预算固定下比加 GPU 或换模型更容易提升 recall@k。
- 该工作主要针对 MRL 嵌入；如果不确定业务 embedding 是否具备 Matryoshka 属性，可先训练或验证 MRL 特性，或在线收集维度重要性指标，再决定是否启用非均匀量化。
注意力感知变换编码压缩 KV Cache
🧭 LLM 推理 · KV Cache 压缩 ★ 深度解读
Technical University of Munich · Technical University of Darmstadt · MIT · Harvard University · Red Hat AI
用白化变换与反向注水按注意力输出失真分配 KV cache bit，5.8x 压缩下近无损
📌 工作参考价值（4 点）
- 长上下文 LLM 推理服务里，KV cache 是大头成本；这套方法只需离线校准集做白化 + 全局 bit 分配，在线仅做 per-token 标量量化，无额外训练，适合快速接入 vLLM/TensorRT-LLM 的量化路径。
- 注意力感知权重可直接复用：key 通道用 q_c^2 加权，value 通道用 W_O 行范数加权；对重要通道多给 bit，尾部通道给 0 bit 等价低秩裁剪，比 uniform precision 更稳，尤其适合商品描述、多轮会话历史、Agent memory 等长上下文场景。
- 校准数据混合思路值得照搬：FineWeb 与 OpenR1-Math 各半，同时覆盖通用文本和推理链；电商场景可替换为商品描述/搜索会话/推理 trace 混合，避免只在通用语料上过拟合。
- 工程细节有复用价值：保留前 4 个 token 与最近 128 token 全精度，按 block 16 重量化；GQA 下按 head-group 做 token-wise max scaling；在更 aggressive 的 2-bit 预算下，attention-aware 分配相对 var-only 优势更明显，可做服务分层压缩。
BaKron：基于Kronecker因式分解Hessian的高效量化加速
🧭 神经网络量化加速
University of California San Diego · Department of Mathematics · HDSI
利用双侧Kronecker-factored Hessian信息加速自适应舍入量化，复杂度与GPTQ同为立方级但精度更高
📌 工作参考价值（4 点）
- 在电商/推荐系统中部署大模型（如LLM-based推荐）时，可尝试用双侧曲率信息（输出坐标相关性）替代GPTQ仅依赖输入激活的量化方式，提升量化后模型精度。
- BaKron的递归分治与反斜对角并行策略可借鉴到自定义量化优化器中，将全矩阵量化成本从O(n⁴)降到O(n³)，尤其适用于推荐模型中中等规模投影层的高效压缩。
- 方法对基础量化器（如四舍五入、格子量化）和Hessian估计器解耦，允许在工程中灵活替换更精确的曲率近似（如KFAC），平衡精度与计算开销。
- 若直接在向量化权重上应用GPTQ式自适应舍入计算瓶颈过高，可采用BaKron的逐行/列交替更新框架，同时保持并行可行性，适配推荐系统在线serving的延迟要求。
omni-macos：Apple Silicon上的端侧全模态搜索引擎
🧭 设备端全模态隐私搜索
Jina AI by Elastic
在Mac本地运行全模态语义搜索引擎，数据不出设备，通过内存预算与增量索引保证实时交互。
📌 工作参考价值（4 点）
- 隐私保护设备端索引：可将用户行为数据转为本地向量，构建个性化推荐索引而无需上传，适合电商用户端商品偏好建模。
- 增量更新与内存预算：在推荐系统中对商品库动态变化采用只重编码差异块的策略，降低实时索引成本；设定内存上限防止服务抖动，可借鉴到大规模向量召回模块。
- 量化+精确重排序：先用低精度向量快速检索，再用原始向量对 top-K 重排，平衡效率与精度，可直接用于推荐召回的二阶段优化。
- 统一多模态嵌入空间：将商品标题、图片、描述嵌入同一语义空间，支持跨模态搜索与推荐，尤其适合多媒体商品信息处理。
LLM KV缓存近无损压缩：联合Tucker分解与JL残差分配
🧭 LLM推理 · KV缓存压缩
将KV缓存视为三阶张量，用部分Tucker分解+JL旋转低比特残差联合优化，实现近无损2-3倍压缩
📌 工作参考价值（4 点）
- 对于部署LLM做推荐解释、对话Agent的场景，可直接应用JoLT将KV缓存压缩2-3倍，节省显存、提升批处理大小与吞吐，且保持输出质量几乎不变。
- Tucker分解+JL残差的联合优化思路（拉格朗日对偶分配秩与比特预算）可迁移到电商搜索推荐中其它高维张量压缩任务，如用户-商品-时间嵌入压缩。
- FlashJoLT的随机SVD加速策略可作为在线压缩的工程参考，适用于需要动态调整压缩率的推荐模型部署。
- 该方法在分组查询注意力和多头注意力结构上均有效，证明其对主流LLM架构通用，建议在实际Agent/生成式推荐系统中优先尝试。
LLM 量化等效性幻觉：统计刻画与行为分歧度量
🧭 量化效应分析 · 行为分歧度量
University of Manitoba · Red River College Polytechnic · University of Central Florida
提出 correctness agreement 指标揭示量化导致的行为分歧，发现 query/key 投影对量化更敏感
📌 工作参考价值（5 点）
- *可以在推荐/搜索系统中这样借鉴：
- 部署量化推荐模型（如 LLM-based ranker）时，不能只监控离线 AUC/GAUC，应引入 correctness agreement 这类行为指标，防止量化后模型对同一批样本给出迥异的精排序结果，却因整体指标持平而被忽略。
- 研究发现 query 和 key 投影层比 value/output 投影对量化更敏感；在混合精度量化策略里，可优先保留这几层为高精度（如 INT8 甚至 FP16），降低推荐模型推理成本的同时，守住 query–item 匹配的稳定性。
- 低比特（≤4-bit）存在非线性断点，业务落地时建议以 8-bit 作为安全起始点，逐步尝试 6/4-bit，并逐层分析 attention 分布的 KL 散度，避免直接跳进极低精度带来的冷启动召回崩溃。
- correctness agreement 不依赖绝对准确率，可作为生成式推荐（如 Semantic ID 生成）的评估指标：量化后生成 item 序列与全精度模型的一致性，比困惑度更能反映线上效果。
移动端电影运镜生成扩散模型 CineMobile
🧭 移动端高效视频生成
Shanghai Jiao Tong University · Nankai University · Transsion
通过剪枝-蒸馏-量化三阶段优化，将大型视频扩散模型压缩至移动端，实现40倍加速的电影运镜生成
📌 工作参考价值（3 点）
- 主要是视觉生成领域的模型压缩贡献，对推荐/广告/Agent 系统的直接业务可借鉴点有限。
- 蒸馏引导的结构化剪枝策略可迁移至推荐模型压缩：先用蒸馏让剪枝后模型快速恢复能力，再联合微调。
- 强化学习与扩散蒸馏结合的少步生成方法，可为搜索推荐系统中使用扩散模型做生成式推荐（如 GenRec）时降低推理步数提供思路。
LogbQuant：在Log空间中量化语言模型
🧭 对数空间量化 · 权重压缩
Technical University of Munich
提出可调基的对数量化方法，在4-bit下性能优于非对称线性量化，适合消费级GPU
📌 工作参考价值（4 点）
- 在电商搜索/推荐场景中，若需本地部署LLM（如商品描述生成、对话式Agent），可尝试用LogbQuant做4-bit量化，在单张消费级GPU上运行，降低显存占用同时保持生成质量。
- 对数量化对存在少数大幅度权重的层（如FFN上投影）天然友好，可针对此类层单独使用对数域量化，或混合线性量化（例如关键层保留线性，其他层用LogbQuant）。
- 可调基数b的思想可迁移到其他量化场景：对不同张量/层自动搜索最优基数，以匹配各异的权重分布，提升整体精度。
- 实现上，查询表（LUT）与位打包可带来推理加速，适合对延迟敏感的在线推荐服务（如实时重排序或即时文案生成）。