HALO: Human-Grounded Granular Evaluation of Proactive Agents
HALO：面向主动式智能体的人类细粒度评估
🧭 主动式Agent评估与人类诊断
University of California, Davis · 2077AI · University of Southern California
提出HALO-Arena与HALO-8K，以人类细粒度诊断评估主动Agent是否、何时、多大程度干预，发现过度主动占拒绝主因
📌 工作参考价值（4 点）
- 做主动推荐/push/智能客服时，别只看点击或二分类接受率；可仿照 HALO 把拒绝原因细拆为 timing（过早/过晚）和 intensity（过度/不足），重点监控 Premature+Excessive 的比例，因为该研究发现 61.20% 拒绝来自过度主动。
- 在 Agent 介入前，先强制做证据检索：区分 structured DB 与 unstructured docs，记录 retrieval rounds；这能帮助判断是否已有足够信息，避免仅凭当前上下文过早干预。
- 设计决策时显式建模 action level / scope，而不是单一动作；允许系统选择“保持沉默/仅提醒/部分代劳/完全代劳”，配合人类诊断校准阈值。
- 可借鉴 4 类主动需求分类（Dependency, Blockage, Risk, Opportunity）为推荐/营销触发场景做需求建模，例如缺货补货提醒（Blockage）、价格风险（Risk）、关联购买（Opportunity）。