#entropy

5 篇

Divergence controls entropy in distillation

散度选择控制蒸馏中的熵变化

🧭 LLM 蒸馏目标的熵效应

Stanford University

证明 forward KL 抬高学生熵、reverse KL 压低熵，散度成为隐式熵正则器

📌 工作参考价值（4 点）

蒸馏生成式推荐或 query 生成模型时，按输出分布需求选散度：forward KL 会抬高学生熵，适合增加候选多样性/探索性；reverse KL 压低熵，适合需要集中、高置信输出的广告文案、push 文案等场景，但需注意 student-teacher 差距过大时 reverse KL 会欠拟合。
on-policy 蒸馏中低熵主要来自 token-level reverse KL，而非 on-policy 采样本身；如果 RL/on-policy 训练后模型行为过于 deterministic，可以直接调整 token 级散度损失，而不必改动采样数据策略。
使用 interpolated KL 时，训练早期熵变化平滑、收敛时突变；可在训练中监控熵曲线，在收敛前设置早停或动态温度，避免熵崩溃损伤生成多样性。
self-distillation 中 teacher 拥有特权特征会降低 student 熵，此时应调节散度超参或 softmax 温度做补偿；在电商 teacher-student 迁移中，student 无法使用用户实时行为等特权信息时，可提高 forward KL 权重或降低温度以保持输出多样性。

Training | 2026-10-02 | cs.LG | score 7/10

FLEET: From Logits Entropy to Enhanced Trajectories in Text Generation

FLEET：从 logits 熵到文本生成中的增强轨迹

🧭 LLM 推理时采样优化

Kharkiv National University of Radio Electronics, Kharkiv, Ukraine

通过记录高熵 token 轨迹并调整 logits，在相同预算下提升采样效率与复杂任务准确率

📌 工作参考价值（4 点）

替代重复采样做集成：在生成 query、文案、搜索结果标题等场景中，常用 temperature sampling 生成多个候选再投票/打分。FLEET 的记忆机制可减少重复候选，提升预算利用率，相同精度下速度提升 3 倍。
轻量级 logits 调整模块：FLEET 只需根据 token 熵阈值记录轨迹并调整 logits，对现有 LLM pipeline 改动小，易于嵌到在线生成服务中，尤其适合需要控制延迟和成本的电商推荐系统。
确定性贪心解码可选：论文在贪心解码下实现确定性输出，适合对可复现性有要求的 A/B 测试或生产环境；用一次校准 pass 自动确定超参数，降低调参成本。
面向 Agent 的复杂任务提升：在 LiveCodeBench 等复杂编码任务上大幅提升 Pass@32，说明该方法对多步推理和 agentic 任务有效，可用于电商导购 Agent 的多步规划与执行。

LLM | 2026-09-22 | HF Daily | score 6/10

LLM temperature sampling entropy decoding test-time scaling trajectory memory

Influence-Directed Distillation: Solving the Diversity Bottleneck in Sampled-Token On-Policy Distillation

影响力导向蒸馏：解决采样令牌在线蒸馏中的多样性瓶颈

🧭 On-policy 蒸馏多样性保持

BiliBili.Inc · University of North Carolina at Chapel Hill · University of Science and Technology of China · Shanghai University of Finance and Economics

提出 IDA-OPD，用一阶局部熵影响力识别并替换熵收缩更新，仅靠采样令牌教师概率提升 pass@k 并保持 pass@1

📌 工作参考价值（4 点）

在蒸馏小模型做生成任务时（如 query 推荐、商品描述、广告文案），不要只盯 pass@1；引入 pass@k 监控多样性继承，避免蒸馏后输出同质化。
可以低成本复用 IDA-OPD 思想：用教师仅对采样 token 的 log-prob 做更新，通过一阶局部熵影响力判断更新是否压缩熵，对熵收缩更新做自适应优势收缩，无需全词表教师 logits，适合线上资源受限的生成推荐场景。
若已有 on-policy 蒸馏流程，先用该影响力代理做离线诊断，定位哪些训练 step 导致多样性下降，再有针对性调整更新或数据混合，比盲目增加正则更高效。
在生成式推荐中，若要继承教师模型生成多样性（如多样商品标题、搜索联想词），可借鉴本文用符号一阶代理解耦教师-学生差距与学生局部概率结构的方法，快速识别负影响力位置。

Training | 2026-08-29 | HF Daily | score 7/10

on-policy distillation diversity pass@k entropy sampled-token LLM

Information-Aware KV Cache Compression for Long Reasoning

信息感知的 KV 缓存压缩用于长推理

🧭 LLM 推理优化 · 熵感知 KV 压缩

Shanghai Jiao Tong University · University of Edinburgh

提出熵感知的 KV 缓存压缩框架 InfoKV，结合预测不确定性与注意力得分，提升长推理效率。

📌 工作参考价值（4 点）

长对话/文档推理的部署加速：在电商搜索推荐系统的多轮助手、售后长文档分析等场景，可直接用 InfoKV 压缩 KV 缓存，减少显存占用与解码延迟，无需重新训练模型。
Agent 长期记忆的高效管理：Agent 在维护对话历史或用户行为序列时，利用预测不确定性筛选对远期推理关键的信息 token，既保留关键上下文又控制缓存大小，提升持续交互的响应速度。
混合重要性评估范式：将 token 级熵信号与传统的注意力权重结合，是一种低成本、即插即用的重要性评分增强方式，可迁移到其它需要上下文剪枝的 LLM 应用中（如 RAG 中的长文档分块选择）。
解码阶段动态压缩：InfoKV 在解码阶段同样有效，适合流式生成时不断增长的 KV 缓存管理，可降低线上长时生成过程的尾部延迟。

Reasoning | 2026-06-24 | HF Daily | score 7/10

KV cache compression entropy attention long reasoning LLM

Forecasting Downstream Performance of LLMs With Proxy Metrics

基于代理指标的LLM下游性能预测

🧭 代理指标 · 专家轨迹 · 性能预测

Mila – Quebec AI Institute · McGill University · ServiceNow Research

聚合专家解答上的token级熵、top-k准确率、专家token排名作为代理指标，预测LLM下游性能，显著优于损失和计算基线

📌 工作参考价值（4 点）

在模型选型或数据筛选阶段，用少量专家标注数据（如人工标注或用户行为序列）计算token级指标，代替昂贵的下游评估，节省千倍计算。
训练早期监控代理指标趋势（如熵、top-k准确率），可提前预测最终下游表现，及时终止劣化实验，加速迭代。
对多智体系统，可将高质量agent轨迹视为专家解答，聚合token级统计量评估agent决策质量，用于在线筛选prompt或模型。
生成式推荐中，将用户交互序列作为专家轨迹，构造类似代理指标，可用于选型、数据筛选或训练过程中的表现预测。

Eval | 2026-05-17 | HF Daily | score 7/10

LLM evaluation proxy metrics entropy top-k accuracy expert token rank