#decoding - AI Papers Daily

SparseDecoding: Decoding-Aware Pruning for Accurate and Efficient LLM Inference

解码感知剪枝：面向 LLM 高效推理的 SparseDecoding

🧭 LLM 推理剪枝与稀疏计算优化

Westlake University · Ant Group

提出解码感知的剪枝框架，用生成过程激活校准并优化N:M稀疏SpMV内核，实现1.48x解码加速

📌 工作参考价值（3 点）

校准数据选择：剪枝/量化 LLM 时，让 dense 模型自回归生成并从各层收集激活作为校准集，而非离线静态文本，能缓解分布偏移导致的性能下降；在电商推荐理由生成、Agent 长回复等 decode 为主场景尤其适用。
系统内核优化：线上 LLM 以 decode 为主时，应重点优化 SpMV；采用 N:M 结构化稀疏配合 bitmask 索引与固定步长遍历，可有效降低 memory-bound 延迟，在商品描述生成、对话式推荐等长输出服务中提升吞吐。
训练后剪枝无需微调，工程成本低，适合对已有搜索推荐 LLM 服务做快速压缩迭代，保留任务性能的同时降低 A100/H100 推理成本。

LLM | 2026-10-07 | HF Daily | score 7/10

FLEET：从 logits 熵到文本生成中的增强轨迹

🧭 LLM 推理时采样优化

Kharkiv National University of Radio Electronics, Kharkiv, Ukraine

通过记录高熵 token 轨迹并调整 logits，在相同预算下提升采样效率与复杂任务准确率

📌 工作参考价值（4 点）

替代重复采样做集成：在生成 query、文案、搜索结果标题等场景中，常用 temperature sampling 生成多个候选再投票/打分。FLEET 的记忆机制可减少重复候选，提升预算利用率，相同精度下速度提升 3 倍。
轻量级 logits 调整模块：FLEET 只需根据 token 熵阈值记录轨迹并调整 logits，对现有 LLM pipeline 改动小，易于嵌到在线生成服务中，尤其适合需要控制延迟和成本的电商推荐系统。
确定性贪心解码可选：论文在贪心解码下实现确定性输出，适合对可复现性有要求的 A/B 测试或生产环境；用一次校准 pass 自动确定超参数，降低调参成本。
面向 Agent 的复杂任务提升：在 LiveCodeBench 等复杂编码任务上大幅提升 Pass@32，说明该方法对多步推理和 agentic 任务有效，可用于电商导购 Agent 的多步规划与执行。

LLM | 2026-09-22 | HF Daily | score 6/10