#Entropy

4 篇

JuryFlow: Disagreement-Guided Human-in-the-Loop Multi-Agent Evaluation

JuryFlow: 分歧引导的人在环多智能体评估框架

🧭 多智能体评估与人在环分歧消解

University of Tsukuba · The University of Tokyo · Hiroshima University

把多智能体评判分歧视为 claim 级不确定性信号，人只选择关键分歧点，通过图传播与 rubric 归纳实现自改进评估

📌 工作参考价值（4 点）

在电商/Agent 场景评估 LLM 输出质量时，先把回复拆成 atomic claims 逐条 verdict，而不是整体打分；用 verdict entropy 定位不一致点，优先处理高熵 claim，可显著降低人工标注量。
把人从“重新标注整条回复”改成“只选一个 focal disagreement 做最小干预”：单个决策点即可触发后续重评，适合需要人工审核但预算有限的业务评审流。
构建 disagreement graph 并用结构相似性传播修正到历史相似 case，再抽象成 rubric 条目让所有 judge 继承：可复用于持续迭代的评估标准管理，避免每次规则更新都要重新训或重写 prompt。
自动消融协议可借鉴：评估框架上线前用 entropy ranking 自动选点，分别消融 targeted re-evaluation、propagation、rubric induction，定位真正带来提升的组件。

Eval | 2026-09-30 | cs.HC | score 7/10

意外的成功，重复的失败：熵引导信用分配用于LLM推理探索

🧭 RLVR token级信用分配 · 熵引导探索

KAIST · DeepAuto.ai

提出EAPO，利用策略熵与response advantage符号不对称分配token级信用，强化高熵成功、惩罚低熵失败并保留失败中的探索机会

📌 工作参考价值（4 点）

在电商/导购Agent的RLVR微调中，可直接利用每步生成时的策略熵作为信用分配信号，无需额外reward model或人工标注；将成功轨迹中高熵决策（如“不确定时尝试新工具/新query”）给予更强正反馈，鼓励探索新策略。
对失败轨迹区分“确定性错误”与“探索性失败”：低熵token（模型很自信却错，如错误价格比较结论）施加更强惩罚，快速纠正重复错误；高熵token（模型尝试不确定路径，如生成长尾query）减轻惩罚，保留未来恢复可能性。
若在生成式推荐/搜索query改写上做RL，可借鉴EAPO的token-level advantage redistribute：用response-level奖励按熵加权到token，避免对整条失败样本均匀惩罚，有助于维持候选多样性。
工程实现上，EAPO只用现有rollout信号（entropy/advantage），可轻量嵌入PPO/GRPO等在线RL流程；适合稀疏reward场景（如用户最终购买/点击），提升覆盖与多样性。

Training | 2026-09-26 | HF Daily | score 7/10

LODESTAR：可信熵是导航而非测量——强化极化器防止冻结 LLM 被错误证据自信误导

🧭 RAG 答案选择 · RL 训练提示干预

Research Center for Information Technology Innovation, Academia Sinica, Taiwan

用 RL 训练固定 prompt 干预串，提升冻结 LLM 在 RAG 答案选择中对误导证据的鲁棒性

📌 工作参考价值（4 点）

生成式推荐/搜索候选重排：用 frozen LLM 的预测熵筛选候选时，注意低熵可能因上下文误导而不可靠。可在 prompt 前加一个固定的“polarizer”提示串（如“请先检查证据可信度”类），用离线 RL 训练，不改模型权重，在线零成本提高鲁棒性。
训练技巧：RL 奖励可来自 gold 标签与 LLM judge 组合，离线构建标签，推理时不依赖 judge。适合业务中无实时标注但离线有部分人工/gold 数据的场景。
架构选择：保持 LLM 冻结，只优化一个短的自然语言干预，比 fine-tune LLM 成本低且易于 A/B 测试；推荐系统可对不同候选池/域分别训练 polarizer 字符串。
Agent 检索后答案融合：在 Agent 的 retrieve-then-answer 流程中，对多个检索证据采用基于熵的选择时，可引入干预提升对误导证据的韧性；消融实验证明能降低误导段落被读取概率。

RAG | 2026-08-12 | cs.IR | score 7/10

基于内在熵与粒子重采样的免验验证推理时扩展

🧭 推理时扩展 · 内在熵选择与粒子滤波 ★ 深度解读

Red Hat · MIT · IBM

利用样本集的内在尾部熵统计来选择和引导生成，无需外部奖励模型即可实现跨领域推理时扩展。

📌 工作参考价值（4 点）

推荐/Agent输出的无奖励模型排序：iS 利用生成样本的尾部熵中位数进行候选排序，不依赖任何外部解析器或奖励模型，可直接用于 Agent 多轮规划或推荐结果的二次筛选。
多步推理的步级重采样：iPF 用 token 熵作为伪观察似然，在推理过程中动态重采样粒子，将计算集中在高置信度轨迹上，适用于困难问题的 Agent 推理树搜索，可减少无效探索。
特权信息蒸馏以引导约束遵循：dPF 通过 logit 混合和 KL 引导的重采样，将规则、提示等特权信息注入生成过程，可在电商广告文案生成、合规性要求高的场景中替代昂贵的奖励模型微调。
难度自适应路由：利用初始样本集的熵统计自动判定问题难度，为简单任务立即用 iS 选优，难题则动态路由到 iPF 或 dPF，可落地为 Agent 工作流中的动态预算分配策略。

Reasoning | 2026-06-07 | stat.ML | score 8/10