每条边都要有引文：用语言模型代理构建医疗软件采用情况的引文支撑知识图谱
🧭 LLM Agent 构建引文支撑知识图谱
Medical Physics Unit, Department of Oncology, McGill University · Toboggan Labs
构建每边必有逐字引文的知识图谱流程，以确定性爬取、预算化ReAct agent、分层grounding和多模型投票达到0.94精度/0.71召回
📌 工作参考价值（4 点）
- 在商品/品牌关系抽取中，强制每条三元组都有源页面逐字引文，并用字符串匹配定位证据，可大幅提高 KG 可追溯性和线上信任度，适合电商商品知识补全、竞品客户案例采集。
- 借鉴其分层 grounding：先用宽松抽取器高召回，再用 referent step 读整页解决“只提到一侧”的指代问题，叠加确定性规则过滤明显错误，最后用多模型投票九准则裁决，可复用到商品属性、合作品牌、集成关系等抽取任务。
- 使用预算化 ReAct agent 搜索全网，配合确定性爬取厂商官网，在成本可控的前提下扩大证据覆盖，可用于监控竞品动态、构建行业采用图谱或生成可引用证据的推荐理由。
- 用投票生成的置信度分数替代固定规则，在相同精度下保留更多正确关系，并缓解长上下文退化与 run-to-run 方差；工程上可将长文档拆成有界窄模型调用，用字符串匹配证据做锚定。
JEV 评判器：置信时接受，不确定时升级
🧭 LLM-as-a-Judge 置信度级联评估
Carnegie Mellon University
用判别式 JEV 做低成本一阶段评判，低置信时级联大模型，在偏好/事实性任务上以 0.36% 成本接近 SOTA 精度
📌 工作参考价值（4 点）
- 在大规模评估生成结果（搜索相关性、广告文案、商品描述、Agent 回答质量）时，可先上轻量判别式 judge 输出 label probabilities，不让大模型生成 rationale；低置信样本路由给强 LLM 或人工复核，显著降低 token 与费用。
- 优先采用冻结的级联策略而非重训：用轻量 judge 的置信度卡阈值，接受高置信判断、升级低置信判断；论文在多个 benchmark 上保留 99% 的 strong judge 精度，适合线上质量监控和批量评估。
- 业务中常见的 pairwise preference / evidence-grounded factuality 评估，可先试 JEV 这类 reward-model judge；对需要复杂推导或识别“写得漂亮但错误”的样本，不要省成本，应直接升级到强 LLM 或人工。
- 将评估输出契约设计为 decision + probability，而不是自然语言理由；便于服务化、监控、校准，也能按业务风险设置不同阈值。
校准作为LLM评估中的一等标准
🧭 LLM评估 · 置信度校准
Johannes Gutenberg University Mainz · University of Colorado Boulder
主张将置信度校准纳入LLM评估核心，指出当前未采用导致部署与研究风险
📌 工作参考价值（4 点）
- 在业务中使用LLM做自动评估（LLM-as-a-judge）、合成数据生成或主动学习时，先验证模型置信度校准，否则会放大错误。例如生成搜索query或推荐文案时，模型给出的置信度可能过度自信，需要校准后再用于下游决策。
- 在离线评估benchmark中，除AUC、NDCG、准确率等性能指标外，同时报告校准分数（如ECE），成本极低，因为已有置信度和正确标签可直接计算。
- 对于开放式生成场景（如生成商品文案、推荐query），定义置信度和正确性困难，可探索一致性采样、自评估等方式获取近似置信度，并定期校准。
- 部署Agent自动决策时，对LLM输出置信度做校准或后处理，避免过度自信导致的错误动作，尤其在无人监督的自动化流程中。
对 LLM 相关性法官礼貌有用吗？语气作为严重度操作点偏移
🧭 LLM-as-judge 语气鲁棒性
Independent Researcher
在 TREC DL19/DL20 上发现 prompt 语气主要改变 LLM 相关性法官的严重度操作点而非判断质量，影响校准类一致率大于排序
📌 工作参考价值（4 点）
- 若用 LLM 作为离线相关性/质量 judge，不要把礼貌等级当可调超参；固定 prompt tone 和模板（含 paraphrase）以降低 severity shift，上线前做 prompt 变体稳健性测试。
- 更应校准 LLM judge 的宽严程度，而不是追求更高 agreement：对绝对 graded label，用 human 标注数据估计 severity 偏移并做阈值/概率校准，或对 prompt 做温度与 threshold 适配。
- 排序指标（NDCG@10）对 tone 不敏感（最大平均变化 0.011），若只用于召回/粗排排序对比，风险较低；但需要关注 Kendall τ 下降导致的精排重排。
- Query-disjoint 验证法值得借鉴：把 query 切分，用未参与 prompt 选择的 queries 评估 prompt 变化，避免过拟合 prompt 到特定 query 集合。
辩论训练减少 RLAIF 中的奖励黑客行为
🧭 多智能体辩论 RL 训练 ★ 深度解读
Google DeepMind
双玩家辩论 RL 训练在数学任务上比单玩家 RLAIF 峰值准确率提高约2个百分点，恢复45%性能差距，并保持 judge MCC 稳定。
📌 工作参考价值（4 点）
- 在电商/推荐/广告场景中如果用 LLM judge 做 RL 奖励（如生成推荐理由、搜索摘要、广告文案），单玩家 RLAIF 会随着训练步数增加出现 reward hacking：策略学会模仿 judge 偏见、权威语气或冗余表达，导致真实指标下降。可借鉴辩论架构：加一个共享权重的 critic 与 generator 对抗，critic 的 reward 为 1 - generator 的 reward，每个 batch 各占一半。该常数和结构能维持 judge 与 ground-truth 的一致性。
- 在无 ground-truth 的场景中无法做 early stopping，保持 peak 性能不衰减很关键。辩论训练虽然收敛到 peak 更慢（学习率需降 4x 且一半 batch 给 critic），但峰值后不坍塌，对线上模型发布有价值。工程实现可采用 prefix-then-diverge 策略，每步只随机分叉一个玩家，减少计算成本。
- 如果负责用 LLM judge 训练生成模型，务必同时监控 train/validation reward gap 和 judge 的 MCC 或等价指标。本文发现 RLVR（有 ground-truth reward）的 train/val gap 明显大于 LLM judge 设置，说明学会说服 judge 比学会底层技能更容易泛化，容易掩盖真实能力不足。
- 对于较弱 judge（例如用 cheap 小模型 judge 大模型），增加 rebuttal 回合（ABA）能补偿 judge 能力不足，提升 accuracy 接近标准 judge 水平；在推理/评估成本可接受时，可考虑多轮对抗交互。
超越单一法官：模拟社交角色面板评估生成式UI
🧭 生成式UI评估 · 多角色社交加权
Shanghai Jiao Tong University · ByteDance Inc
用多角色证据锚定与社交加权面板评价生成式UI，与人类评分的相关性从0.716升至0.922
📌 工作参考价值（4 点）
- 多角色模拟用户多样性：在电商推荐或广告落地页评估中，可借鉴 ESPP 方法，构建反映不同用户画像（价格敏感、品牌偏好、视觉导向等）的角色面板，更全面地捕捉界面或推荐列表的感知差异。
- 证据锚定提升评判可靠性：要求评估者（LLM）基于界面上具体元素给出评分理由，这种“证据落地”机制可迁移到任何 LLM-as-a-judge 场景，减少幻觉和主观臆断，适用于搜索广告文案或推荐理由的质量审核。
- 社交加权与分歧分析：在多角色评分聚合时，采用有界置信模型进行观点交换与德尔菲式加权，产出更稳定的整体评分，同时保留各子群体评分用于分歧诊断，帮助识别推荐系统对不同人群的公平性问题。
- 离线评估成本优化：用一组自动化的角色面板替代部分人工用户测试，快速筛选出有潜力的UI方案或推荐策略，在进入 A/B 测试前过滤掉明显低质变体，降低实验成本。
利用 LLM 诱导用户偏好以改善离线 Top-N 推荐评估
🧭 评估方法与流行度偏差缓解 ★ 深度解读
Information Retrieval Lab, CITIC, Universidade da Coruña
两阶段 LLM 先归纳用户偏好再补充缺失判断，降低评估中的流行度偏差
📌 工作参考价值（4 点）
- 在电商/广告推荐离线评估中，可利用 LLM 为每位用户生成偏好摘要（类似购物画像），再对多路召回融合后的 top-N 候选池中未被点击/购买的物品进行相关性补充标注，减少假阴性。
- 采用池化思想：只对多个推荐算法输出的并集进行 LLM 打分，避免全量评定，成本可控且聚焦评价关键区。
- 提示设计上，用“偏好叙述 + 判断指令”比直接给历史交互序列更能降低判定中的流行度先验；在实际业务中可先让 LLM 总结用户浏览/购买历史，再基于摘要评估新商品的契合度。
- 注意适用条件：若候选池本身已被热门商品主导（如仅评估头部的精排结果），补充标注可能反而强化流行度偏差，需配合多样性控制或长尾增强策略一同使用。
如其所是：用历史用户偏好对齐LLM搜索评估
🧭 行为接地增强LLM搜索评估 ★ 深度解读
Spotify
提出行为接地（QRI卡片）LLM法官，用极简的去偏交互摘要提升搜索评估与用户偏好的一致性
📌 工作参考价值（5 点）
- 电商搜索评估可直接复用 QRI 卡片：对每个候选商品聚合历史上相似查询的点击/加购/转化率（经 IPS 去偏）与曝光量，作为 LLM 评判时附带的「行为证据卡片」。尤其对长尾查询或歧义词（如“苹果”），能有效约束语义偏差，提升评估与线上指标的一致性。
- 用简易 IPS 获得轻量级去偏信号：工程上只需一个单调的位置倾向曲线即可计算无偏相关度，无需复杂 click model，适合高时效性系统快速上线。
- Prompt 设计上强调辅助而非替换：明确要求 LLM 将 QRI 视为支持性上下文而非直接答案，仍以语义推理为主，仅在歧义或平局时才启用行为信号，防止历史偏见过度主导。
- 离线评估替代线上 A/B：论文证明行为接地法官与线上胜负方向的 alignment 提升（30.6%→36.8%），可加速模型迭代，降低实验成本。关键要保证行为证据窗口与评估窗口无时间重叠，避免数据泄露。
- 多语言场景增益显著：多语言人工标注集上，接地后相关性提升+15%，对跨境电商/多市场搜索评估尤其值得尝试。
将评判逻辑代码化：通过程序蒸馏实现可扩展评估
🧭 评估 · 程序蒸馏
University of Wisconsin-Madison
将LLM评判逻辑蒸馏为可解释的程序委员会，实现低成本、透明评估，匹配13B模型性能，并产生廉价奖励信号
📌 工作参考价值（4 点）
- 在推荐系统的离线评估或奖励信号生成中，可借鉴程序蒸馏思路：用少量 LLM 标注数据蒸馏出可解释的程序化评判器，替代昂贵 API，大幅降低标注成本（如 reward model 训练）。
- 程序委员会聚合和置信度回退路由可迁移到多模型融合场景：多个简单规则/模型组成委员会，低置信度样本自动升级至复杂模型，平衡成本与质量。
- 程序化评判透明可编辑，适合电商推荐中需要业务解释性的场景：评估标准（如“推荐理由是否吸引点击”）可直接编码为规则，方便运营调整。
- 用于 reward model 蒸馏时，程序标签成本仅为专有 LLM 的 1/100，且性能更优，可为推荐系统的生成式奖励训练提供高效方案。
文本梯度多目标优化LLM裁判提示的失败模式：梯度稀释与指令干扰
🧭 LLM裁判多目标提示优化 ★ 深度解读
Amazon · IIT Jodhpur
揭示多任务文本梯度优化中梯度稀释（特异性降低59%）和推理时指令干扰两大致命瓶颈
📌 工作参考价值（4 点）
- 多目标评估提示优化需警惕耦合程度：当 LLM 裁判需要同时评估多个维度（如流畅度、相关性、一致性），将所有维度放在一个梯度 LLM 中联合优化会导致梯度特异性从 9.0 暴跌到 3.7（下降 59%）。在业务中做自动提示调优时，应尽量保持『每个维度独立生成梯度，再合并』的 SSC 模式，而不要过早将所有维度混合输入梯度 LLM。
- 推理时指令长度不对称会损害整体性能：即便每个维度都有独立的、经过优化的指令，直接拼接到同一个 prompt 中，Spearman 相关性也会下降 5.3 个点。原因是详细指令会抢占模型注意力。在电商商品评价、多维度质量打分等场景，如果使用单个 LLM 一次输出多个分数，必须控制各维度指令的长度比例，避免某个维度过于冗长。
- 可用梯度特异性指标监控优化质量：文中定义的『梯度特异性』（gradient specificity）可由 LLM 自动打分（1-10 分），适合作为多目标提示优化的过程诊断指标。在自动化提示工程 pipeline 中，一旦检测到特异性骤降，说明梯度信号已稀释，可触发回退到独立梯度模式或停止优化，防止无意义消耗。
- 超体积指标与平均性能的背离值得注意：在联合优化（CCC）模式下，虽然平均 Spearman 停滞，但超体积指标（HVI）持续增长，说明探索到了在各维度上有差异的特化提示。这对需要保留多样性候选的 Agent 协作场景可能有参考：多智能体 prompt 优化可以先用联合模式产生一组 Pareto 解，再从中人工精选。
PROTEA：多智能体 LLM 工作流的离线评估与迭代优化工具
🧭 多智能体工作流离线评估与迭代优化 ★ 深度解读
Sony Group Corporation
通过后向节点评估和图级瓶颈定位，实现多智能体工作流的离线测试驱动迭代优化，减少对人工中间标注的依赖
📌 工作参考价值（4 点）
- 后向节点评估降低标注成本：利用最终答案参考和下游依赖关系自动生成中间节点预期输出，适合电商推荐链路（意图解析→召回→排序→生成）中缺乏细粒度中间标注的场景。
- 图级诊断+节点级理由：将 PASS/WARN/FAIL 状态直接覆盖在工作流图上，并按优先级排序节点，开发者可快速定位导致推荐结果偏差或文档检查失败的瓶颈节点，避免逐节点翻看链路。
- 闭环提示词修订与重评估：在选中节点后，系统基于评审理由生成可编辑的提示词修订草案，并在 accept 后自动执行全链路重跑与评估，带来类似于 CI 回归测试的快速迭代体验，可直接迁移到生成式推荐或多轮对话 Agent 的 prompt 调优。
- LLM-as-a-judge 与阈值设置：可配置的多维度评分标准和阈值映射（PASS/WARN/FAIL），可用来自动评估中间输出（如召回相关性、排序合理性）并向业务反馈，适合构建监控或离线诊断管道。