Knowing When to Ask: Self-Gated Clarification for Hierarchical Language Agents
知情而问：层次语言智能体的自门控澄清机制
🧭 Agent 自门控澄清与层次推理优化
Amazon Web Services
将澄清作为与导航竞争的动作，基于自身评分自门控决定何时求助，实现从强制到机会澄清的结构性转变。
📌 工作参考价值
- 在层次分类/推荐任务（如商品类目预测）中，可将“请求用户补充属性”视为与预测动作同尺度评分的选项，用阈值决定是否触发交互，从而在关键中间节点精准获取信息。
- 分离帮助定位（where）与答案质量（what），通过受控答案质量实验诊断系统瓶颈，若帮助定位稳定而答案质量差导致增益消失，则瓶颈在答案源而非提问策略。
- ISE（信息寻求有效性，即帮助后下一步导航正确的比例）可作为局部效用诊断指标，比最终准确率更早发现提问策略的质量变化，避免仅看最终结果。
- 在智能体决策链中引入“动作评分+自门控”范式，无需外部不确定性估计器，即可让信息寻求行为结构化可观测，便于调试和优化。
动机：层次推理任务（如关税分类、医疗编码）中，早期节点决策错误会逐级放大。现有方法将澄清作为一种外部不确定性触发（如置信度阈值、采样分歧），无法区分“因无可行分支而问”与“有主导路径仍问以消除残差”两种帮助需求，且难以分离帮助定位与答案质量的影响。
方法关键点：
- 提出 ACTIONRATING 框架：将澄清动作
need_clarify放入智能体动作空间，与导航动作在统一的 [0,100] 序数尺度上竞争评分，澄清触发仅取决于自身分数是否超过阈值 τ，实现自门控。 - 基于评分排名区分两种模式：强制帮助（澄清排名第一，无导航分支可行）和 机会主义帮助（有主导导航分支但澄清仍超阈值），二者均为自触发，无需外部估计器。
- 引入受控答案通道：固定答案质量（模拟知情产品所有者提供属性事实），隔离“哪里问”与“问后得到什么”两个因素。
- 定义局部效用指标 ISE：帮助交互后下一步导航落入正确路径的比例，衡量帮助针对性。
关键实验：
- 在 HTS 关税分类（3万+节点，5级深度）三个基准（CBP-NY 1181条、ATLAS、HSCodeComp）上评估，覆盖 9 个 LLM（4 个家族）。
- 与基线（贪婪无澄清）、CoT-Ask-if-Unsure（提示指令）和 Self-Consistency（N=3）对比，只有 ACTIONRATING（τ=10）产生结构化转变：强制帮助比例从 35.2% 降至 13.9%，机会主义从 0% 升至 88.7%，ISE 从 50% 升至 74%，10-digit 准确率从 50.8% 升至 67.0%（受控答案上限）。
- 答案质量退化实验证明分离可证：将受控答案替换为自动生成的弱答案后，10-digit 准确率下降 18.8%，但帮助模式分裂与 ISE 排序几乎不变，说明帮助定位是一种独立于答案质量的稳定属性。
核心记忆点：让澄清成为动作空间内同尺度竞争的选项，而非外部触发器，由此产生的帮助请求才具备结构化可观测性，并能自然区分强制与机会两种不同的信息需求模式。