JuryFlow: 分歧引导的人在环多智能体评估框架
🧭 多智能体评估与人在环分歧消解
University of Tsukuba · The University of Tokyo · Hiroshima University
把多智能体评判分歧视为 claim 级不确定性信号，人只选择关键分歧点，通过图传播与 rubric 归纳实现自改进评估
📌 工作参考价值（4 点）
- 在电商/Agent 场景评估 LLM 输出质量时，先把回复拆成 atomic claims 逐条 verdict，而不是整体打分；用 verdict entropy 定位不一致点，优先处理高熵 claim，可显著降低人工标注量。
- 把人从“重新标注整条回复”改成“只选一个 focal disagreement 做最小干预”：单个决策点即可触发后续重评，适合需要人工审核但预算有限的业务评审流。
- 构建 disagreement graph 并用结构相似性传播修正到历史相似 case，再抽象成 rubric 条目让所有 judge 继承：可复用于持续迭代的评估标准管理，避免每次规则更新都要重新训或重写 prompt。
- 自动消融协议可借鉴：评估框架上线前用 entropy ranking 自动选点，分别消融 targeted re-evaluation、propagation、rubric induction，定位真正带来提升的组件。
Plover：以计划为中心的人机协同 GUI Agent 系统
🧭 GUI Agent 的可监督规划与交互修正
University of California, Davis · Bosch Research North America
通过将任务计划外化为可编辑的交互工件，让用户能局部修正 Agent 行为而保持进度
📌 工作参考价值（4 点）
- 在业务 Agent 中暴露执行计划：对搜索推荐系统的多步调用（如意图解析→召回→排序→文案生成），可将内部步骤结构化为可读的计划树，让产品或运营人员实时查看、暂停或修改中间决策。
- 支持局部编辑与进度保持：当 Agent 某一步出错（如误判意图），允许直接编辑该步参数或替换子任务，而不丢弃已完成的有效步骤，避免全盘重试带来的延迟和算力浪费。
- 结合自然语言与界面截图交互：对于电商后台配置、广告创编等 GUI 密集型任务，可以借鉴自然语言指导与截图标注干预，让领域专家无需懂代码即可修正 Agent 行为。
- 借助失败案例分析改进 Agent 设计：通过显式记录计划执行轨迹，分析哪些步骤易出错，定向优化提示或模型，或积累常见修正模式用于主动提示用户或自动修复。
面向可问责 LLM 法官评估的人机协同金块标注
🧭 人机协同评估 · 锚定偏差消除
University of New Hampshire
提出人定义信息金块、LLM 匹配系统输出的分工，消除评估锚定偏差并保持人类监督
📌 工作参考价值（4 点）
- 构建领域信息点库（Nugget Bank）：在电商搜索、推荐或Agent评估中，先由业务专家定义每条查询/任务应覆盖的关键信息点（如商品属性、政策限制），LLM自动匹配输出是否覆盖这些点，实现低成本可复用的自动评分。
- 消解锚定偏差的标注流程：通常人工评估时若先看到机器输出，容易盲目同意（橡皮图章）。借鉴本文，人工先独立标注信息需求（金块），之后再看系统输出或让LLM做匹配，保护人类判断独立性。
- 高方差任务的人机分工：推荐解释、Agent决策理由等开放式输出，人类直接打分一致性低。改用“金块”原子化评估维度，让LLM承担细粒度匹配，人类只需定义标准，提升评估稳定性。
- 自动评分结合人工监督：金块库经专家审核后，可持久化用于线上评估，结合自动匹配形成半自动评估流水线，兼顾问责与效率。
自适应不确定性感知的LLM裁判审计精炼框架
🧭 LLM-as-a-Judge 审计与人类一致性校准
Georgia State University · Michigan State University · Concordia University · University of Manitoba
在有限人工验证下，迭代学习人类一致性信号并优先审查不确定比较，提升LLM评判可靠性
📌 工作参考价值（3 点）
- 当用LLM评判器离线评估搜索推荐系统的生成式内容（如推荐理由、对话推荐）时，可借鉴AURA的不确定性感知主动学习机制：优先将LLM低置信度的成对比较送人工审核，少量标注即可显著校准评判器偏见，降低大规模人工评估成本。
- 将“信任度”显式建模为隐变量并迭代更新的思路可以迁移到业务中：例如在推荐系统的A/B实验解读中，LLM对实验报告的分析结论可能因数据分布偏移而不稳定，通过收集少量人工验证反馈迭代修正信任权重。
- 提出的可靠证据传播策略可启发在多轮对话评估或序列推荐评估中，如何利用已确认的高质量判断来推断相邻未标注样本，从而提高评估效率。
BEATS：通过迭代人机协同，从零构建电商搜索属性体系
🧭 电商搜索 · 属性体系构建 · 人机协同 ★ 深度解读
National Taiwan University · Rakuten Group, Inc. · Taiwan Rakuten Ichiba, Inc. · Rakuten Asia Pte. Ltd.
将多模型LLM生成、合成与精炼与迭代人审结合，从无到有构建电商属性体系，显著改善搜索体验。
📌 工作参考价值（4 点）
- 从零构建电商属性体系的标准化流程：多源LLM生成候选属性→生成式合成合并→精炼去噪，再经开发人员预审与领域专家标注，迭代优化prompt。对于冷启动平台，可快速复制。
- 多模型集成思路：选用架构、训练数据、规模差异大的LLM（如GPT-OSS、Qwen3文本/视觉版）分别生成，通过多样性保证覆盖，合成模型统一规范。在电商属性生成中，不同模型各有所长（有的擅长技术参数、有的擅长使用场景）。
- 迭代prompt优化的技巧：根据质量检查与标注反馈，添加负面样例、调整粒度指令、引入类别上下文，并针对系统性错误升级精炼模型。第二轮接受率从89%飙升至99.88%，可直接复用这类迭代策略。
- 属性标注直接反哺搜索：利用生成的属性类型对商品进行结构化标注，无需预定义值集，即可丰富稠密检索的文本表示。在本实验中，仅凭属性文本增强，双塔稠密检索R@10提升5.7%，NDCG@10提升5.7%，零架构改动。
小语言模型作为队友：教育评估设计中的私密部署比较研究
🧭 教育评估生成任务中的SLM vs LLM对比评估
SLM在教育题目生成任务中性能接近LLM，但模型自评不可靠，须有人工闭环
📌 工作参考价值（4 点）
- 若业务场景（如私域商品评价问题生成）需低成本、隐私敏感部署，SLM 是可行选择，性能接近大模型，可优先实验。
- 为生成式推荐或 Agent 的指令设计建立多维质量指标时，可借鉴 Bloom 分类法，对生成内容层次化打分，避免单维度评价。
- 模型自评（用 LLM 评价 LLM 输出）存在系统性偏差，必须加入人工校验环节；在人机协同工作流中，可先让 SLM 粗筛，专家抽检校准。
- 在 Agent 工具链中，对小范围、高并发的结构化内容生成（如提示词模板、回复候选），用 SLM 可实现质量与成本的平衡。