Teach it to stop, not just to click
教智能体停止而不仅是点击：CUA-RL的可靠性度量
🧭 Agent强化学习的方差分析与可靠报告
Cabal AI · Para AI
发现CUA-RL结果被上游方差（数据抽取为主）误导，提出k种子报告协议并揭示修复难度由动作约束决定
📌 工作参考价值
- 强化学习训练与评估协议：在推荐/搜索/对话Agent的RL训练中，单次运行的结果不可靠。应采用≥5个独立数据抽取×多训练种子的交叉评估，报告平均数和标准差（或IQM及分层 Bootstrap CI），避免因数据批次差异导致错误结论。
- 统一验证器提升训练效率：将任务完成验证器复用于“提示、教师、奖励、部署门控”四通道，类似在推荐系统中构建自诊断模块，可同时用于在-上下文纠正、知识蒸馏信号、稀疏奖励塑形和在线安全检查。
- 引入行为克隆安装正向动作：当策略从未采样到正确动作（如停止、罕见推荐）时，纯策略梯度无法强化它。利用验证器的蒸馏项（gated BC）注入该动作，可解决稀疏/负奖励场景下关键动作难学习的问题，类似电商推荐中引入用户明确停止信号。
- 数据抽取比种子更关键：方差分解显示训练数据批次差异是效果波动的主要来源（困难任务上占48%方差），训练种子影响小（≤10%）。在推荐系统AB测试或离线评估时，应优先控制训练数据的划分方式，而非仅关注模型初始化。
动机：计算机使用Agent（CUA）的强化学习结果常以单次运行报告，但这些数字被上游方差（数据抽取和运行间非确定性）主导，极易产生误导性结论。论文旨在系统量化这一方差，并建立k种子报告的可靠度方法。
方法关键点：
- 在5个确定性、快照可重置的Web镜像环境（LinkedIn、Fiverr等）上，以35B VLM策略（Holo3-35B-A3B）作为纯感知-动作CUA，用程序化Oracle评分。
- 引入一个独立VLM作为“完成验证器”，统一发挥四种作用：上下文提示、蒸馏教师、奖励信号、部署门控。
- 提出segment-aggregated on-policy self-distillation（SA-OPSD）更新，结合GRPO策略项与优势门控的行为克隆，将验证器判定的纠正动作注入策略权重。
- 可靠性评估采用k种子训练、泄漏无关的独立保留集，对决策状态的动作发射率进行方差分量分解（数据抽取、训练种子、运行间、评估帧），并检验分布双模态性。
关键结果与数字：
- 所有故障类型的修复均非零，但存在难度梯度：固定Token“done()”可靠安装（0.97±0.06）；空间坐标点击部分可靠（0.71±0.26和0.53±0.35，种子间波动大）；生成式字段填充最困难（0.14±0.04）。梯度源自动作的约束程度，而非模型先验。
- 帧级修复仅当纠正动作为唯一剩余阻塞时才提升端到端成功率（LinkedIn 8/20 vs. base 0/15，Fisher p=0.006）。
- 方差分解：评估噪声≈0，训练种子效应≤10%，数据抽取方差在困难单元占主导（48%），运行间分布呈双模态（Hartigan dip p=0.07），单次运行有约30%概率落入失败模式。
- 基于自身样本效率曲线和“空间Grounding不能购买”两个实例，演示了单次运行结论的证伪，强调k种子报告的必要性。
- 在第二个策略Fara-7B上复现了约束-开放难度排序，表明梯度结构非特定模型所为。
最值得记住的一句话：要稳定Agent RL的结果，需先控制数据抽取，再控制种子，并对k次运行取平均——永远不要信单次运行。