#inference

5 篇

Foundations of Large Language Models

大型语言模型基础：预训练、生成、提示、对齐与推理

🧭 LLM 基础理论与技术体系

Northeastern University · NiuTrans Research

系统梳理LLM预训练、生成建模、提示、对齐、推断与推理六大基础主题的技术参考书

📌 工作参考价值（4 点）

对齐章节可指导生成式推荐中的偏好优化：将点击/转化作为偏好信号，用 RLHF/DPO 类方法微调 LLM，避免纯 SFT 导致推荐结果多样性差。
推理章节中 CoT/self-consistency 可迁移到电商 Agent 的查询理解与任务规划：对复杂购物意图引入结构化推理轨迹，提升 query 拆解与商品召回准确率。
预训练与生成模型基础解释了 Semantic ID 建模本质：把 item 表示成 token 序列并用 LLM 生成 next token，可复用书中的解码策略（温度、top-k/top-p）和训练技巧。
工程部署时可参考推理章节的 KV cache、批处理与量化基础，对线上低延迟生成式推荐与导购 Agent 有直接帮助。

LLM | 2026-10-07 | HF Daily | score 7/10

Transformer KV Cache 的张量分解：谱结构与格式对比

🧭 LLM KV cache 张量分解压缩

Universität Trier

对 KV cache 四阶张量做谱测量，在 2-5× 压缩下 Tucker 重构误差最低，head/layer 近满秩不可压

📌 工作参考价值（4 点）

工业 LLM serving 做 KV cache 压缩时，可优先用 2D/SVD 压 key；value 需保留 4 维结构，用 Tucker 且不压 head/layer 轴，同存储下误差更低。
压缩预算不要均匀给四个轴：head 和 layer 近满秩，强行压缩收益极低且伤精度；预算应集中在 token 与 feature 轴。
RoPE 后 key 的可压缩性下降 41%-64%，若做 prefill 缓存或分阶段压缩，尽量在 RoPE 前对 key 做低秩/缓存，或对 post-RoPE key 分配更高 rank。
value 的错误地板比 key 高，在电商/Agent 长上下文场景做混合 KV cache 管理时，value 应给更高存储比例或更保守压缩。

LLM | 2026-09-23 | cs.CL | score 7/10

贪心解码并非精度不变：LLM 推理中的跨精度输出分歧

🧭 LLM 推理 · 精度一致性

University of Tennessee, Knoxville · University of Chicago · Amazon · University of Texas at Austin

证明 BF16/FP16 下贪心解码会系统性分歧，提出低 margin 触发 FP32 LM head 重算，一致性提升 22–36pp 且延迟开销 <4%

📌 工作参考价值（4 点）

线上 LLM 推理要显式固定 dtype：BF16 与 FP16 不能视为等价，尤其 greedy decode 用于召回/排序/文案/query 改写时，跨精度差异会造成离线在线或 A/B 的隐性不一致。可在服务配置中锁死 MatMul/attention/lm_head 精度，并用固定 prompt 集做跨精度 diff 测试。
如果需要在低精度下保持与高精度输出一致，不要全模型 FP32 重算；可移植 selective FP32 lm_head recomputation：仅当 top-2 logit margin 低于阈值时用 FP32 重算 lm_head，低 batch 单流下延迟 <4%，一致性显著提升。可封装成 inference wrapper 或 engine option。
注意适用边界：batch size >= 8 或端到端 FP8 下 body 误差主导，该方法失效；不要把它当作确定性保证。限流/批处理场景需要单独评估。
对 LLM 驱动的推荐/Agent pipeline，若输出 token 用于下游决策（商品 ID、工具调用、query 改写），低 margin token flip 会级联放大；可针对低 top-2 margin 的高风险样本做高精度重算或投票，并监控 margin 分布作为质量信号。

LLM | 2026-09-22 | cs.LG | score 6/10

重新思考面向子二次注意力的异构系统解聚

🧭 LLM 推理 · 子二次注意力异构解聚

Harvard University · NVIDIA

提出按二次/子二次注意力拆分 decode 的细粒度异构解聚方案，显著提升子二次注意力 LLM 的吞吐与能效

📌 工作参考价值（4 点）

若业务中采用线性/稀疏/滑动窗口等子二次注意力 LLM 做在线推理（如 query 理解、生成式推荐、Agent 工具调用），可将 KV 检索类算子（如 top-k 选择）部署在 DRAM 带宽大的 LPX 类设备，将静态内存的注意力+FFN 部署在 SRAM 算力设备，降低跨设备通信并提升 tokens/J。
稀疏注意力 decode 可拆成两阶段：top-k 选择需要扫描全量 KV，但计算轻；top-k 注意力+FFN 内存占用固定。这一特性可指导推理系统的流水线设计，避免将 KV 索引放在算力型 GPU 上造成内存瓶颈。
系统解聚不应按 attention/FFN 操作类型，而应按算数强度与内存占用拆分；对于混合注意力架构（部分层 dense，部分层子二次），可把 dense 层放在 GPU、子二次层放在低功耗设备，实现能耗与延迟的更好折中。
论文主要是底层系统优化，与推荐/广告算法逻辑无直接关系，可借鉴点主要在工程部署和硬件选型。

LLM | 2026-09-11 | cs.AI | score 6/10

基于随机设计的 KV 缓存驱逐误差证书

🧭 随机化 KV cache 驱逐实现误差归因

Technical University of Munich

随机化 KV 缓存驱逐使系统能给出每步注意力误差的置信区间，用于归因缓存导致的失败

📌 工作参考价值（4 点）

在电商搜索/推荐/Agent 长上下文推理中，采用随机化逐出（如 Poisson 采样尾部 token）并计算误差证书，可在线检测 KV cache 压缩是否导致注意力偏差，触发全量重算或回退逻辑。
证书虽然预测失败的能力弱于输出 log-probability，但归因能力（AUC 0.73–0.75 vs. 0.47–0.54）可用于调度资源：仅对证书超阈值的高风险请求重新分配计算，避免浪费。
确定性 top-k 驱逐无法自我诊断（Theorem 1），因此生产系统中不应依赖保留状态计算的自检指标；改用随机化设计是从根本上获得可观测性。
工程实现上，可沿用论文的 Hájek 校正（单 logit 偏移）和调查抽样方差估计，无需大幅改动模型推理管线，即可获得每步无偏误差估计和 0.97 经验覆盖率。

LLM | 2026-07-23 | cs.LG | score 7/10