#Rubrics

3 篇

InterA11y: Interactive Web Accessibility Error Detection with LLM Agents

InterA11y：基于 LLM 智能体的交互式网页可访问性错误检测

🧭 LLM Agent 结合 rubrics 与工具审计

University of Washington · Cornell University · Carnegie Mellon University

结合可测试规则分解与确定性交互工具，显著提升 LLM Agent 网页可访问性审计召回并保持高精度

📌 工作参考价值（4 点）

将复杂质量标准/规则分解为可测试的 rubrics，并由 agent 逐步收集证据，可用于商品信息合规审核、广告审核、推荐理由生成等场景，降低 agent 主观误判。
用确定性工具（如 DOM 检查、焦点/错误消息提取）替代或补充 LLM 直接推理，能减少 token 消耗和幻觉，提高 precision，在需要高准确率的业务（如广告审核、商品合规）可借鉴。
系统架构上采用 LLM 负责规划与证据解释、工具负责确定性检查，可隔离不同模型间的表现差异，推荐系统 agent 协同中也可采用同类混合架构。
评估方法上，用专家标注案例集对比召回/精度并关注跨模型一致性，对业务上线 agent 的评测与可信度验证有参考价值。

Agent | 2026-10-29 | cs.HC | score 7/10

DailyReport：日常搜索任务上评估搜索代理的开放式基准

🧭 Agent 评估基准 · 细粒度与可解释评估

University of Science and Technology of China · Meituan

构造包含150个日常搜索任务与3546条细粒度评分标准的基准，提供可解释的多维评估，揭示现有搜索代理普遍未达用户预期

📌 工作参考价值（4 点）

任务分解与级联评分标准：借鉴其子任务分解和级联 rubric 设计，可在电商搜索/推荐代理评估中实现细粒度能力诊断（如商品推荐的准确性、解释质量、多源信息融合能力）。
用户中心聚合分数：提出的用户偏好分数可作为离线代理指标，近似真实用户满意度，用于 Agent 的迭代优化或线上 A/B 测试前的快速筛选。
17 个系统对比揭示的短板：时效性、多源合成等维度的普遍缺陷表明，在构建电商搜索代理时需特别强化实时信息的抓取与融合机制。
数据集与任务构造思路：可从真实用户讨论中挖掘任务，构建贴合电商场景（如比价、商品咨询）的评估集，复现其评估管线。

Agent | 2026-06-10 | HF Daily | score 7/10

RUBRIC-ARROW：交替式评分准则奖励建模，提升非可验证领域LLM后训练

🧭 奖励建模与LLM后训练·评分准则的成对偏好优化

University at Albany · Rutgers University · Purdue University · Emory University · Georgia Institute of Technology

交替训练评分准则生成器与准则条件评判器，以概率评分与成对偏好数据训练点式奖励模型。

📌 工作参考价值（4 点）

在电商Agent或推荐解释生成中，可借鉴 rubrics 分解评估：将整体质量拆解为独立准则（如信息准确性、说服力、风格匹配），训练准则条件评判器获得细粒度奖励信号。
概率评分规则能减少平局，提供更光滑的奖励分布，适合作为排序或策略优化的目标，比硬布尔聚合更稳定。
交替训练生成器与评判器的架构可复用于自动评估流程：业务中可先有粗粒度准则，通过交替优化不断细化准则和评判能力。
仅用 pairwise 偏好数据训练 pointwise 奖励模型，降低人工标注绝对分数的成本；对于成对偏好易得的场景（如用户 A/B 选择），可直接复用此方法。

Training | 2026-05-26 | HF Daily | score 7/10