Interaction Scaling: Grounding the Third Axis of Test-Time Compute
交互缩放：为测试时计算确立第三轴
🧭 Agent 交互范式与评估接地
Pine AI · University of Washington
提出测试时计算的第三轴——交互缩放，用外部工具反馈打破内部计算天花板
📌 工作参考价值
- 用可测量的外部仪器替代 VLM 截图评估：在商品图、banner 广告、着陆页等视觉物料生成场景，直接测量 DOM bounding box 检测重叠、溢出、对齐等问题，避免截图裁切导致评估盲区。
- 引入执行反馈闭环提升代码生成：推荐系统配置、排序策略、特征工程等代码模块，可接入 pytest 或类似执行环境，将失败断言与 traceback 作为反馈信号，驱动模型迭代修复直至 100% 通过率。
- Proposer–Reviewer 分离架构控制成本和方差：让提议模型专注生成，审查模型仅接受结构化缺陷信号（如元素重叠列表）而非原始 stderr，可减少约 28% 的 token 消耗并消除种子间方差。
- 内部推理或采样饱和时，转向外部交互获取新信息：当推荐解释、搜索 query 生成等依赖模型已有知识无法进一步提升时，引入可执行的验证工具（如搜索引擎校验、数据库查询）可突破信息天花板。
动机
现有的测试时计算投入主要有两种：让模型思考更久（推理）或多采样并选取最优（采样）。这两种方式都是内部计算，所有额外 token 都来自同一冻结权重和固定提示，无法引入模型原本不知道的信息，最终会达到性能天花板。本文研究第三种方式：交互——模型生成产物后，由外部仪器观测其实际行为并反馈，再迭代修改，从而突破内部计算的极限。
方法关键点
- 接地框架：区分无接地反馈（LLM 自我评述、VLM 对截图的评价）与接地反馈（由确定性仪器直接观测产物），并强调接地必须同时应用在反馈驱动修订和评估度量两侧，否则增益不可见。
- 覆盖度原则：接地反馈的有效性取决于仪器能观测到的缺陷类型。例如 linter 只能发现形式问题，对运行时 bug 无效；截图 VLM 无法看到溢出画布的内容。
- Proposer–Reviewer 架构：围绕冻结的前沿模型，提议者生成产物，专用审查者将接地仪器信号（如 pytest 失败断言、DOM bounding box 重叠列表）转化为结构化缺陷清单，反馈给提议者修订，循环进行。
- 确定性仪器：代码使用 pytest 执行并获得 traceback；视觉产物使用无头渲染并通过布局引擎读取真实 bounding box，精确计算文本重叠、越界、容器溢出、盒组对齐等缺陷。
关键结果
- 代码任务：在 15 个硬题集上，proposer–reviewer 交互循环在 20K token 预算下达到 100% pass rate，而推理仅 73.3%，oracle 最佳 N 采样仅 86.7%，且交互方案消耗 token 更少，无种子方差。在 3 个模型家族上复制了这一结果。
- 视觉布局任务：在学术图、密集幻灯片、网页、动画四种模态上，接地几何反馈减少 40–74% 的真实布局缺陷（所有 bootstrap 置信区间不包含零），而标准 VLM 截图评估将 15 幅明显有缺陷的学术图中 14 幅评为“完美”。当 VLM 用作审查者时，幻灯片布局缺陷反而增加。
- 评估侧必须接地：同一 DOM 几何仪器在接地反馈组显著降低缺陷，而在 VLM 反馈组缺陷未减甚至上升，证明收益来自仪器覆盖度而非优化评分。
- 学生蒸馏：将交互轨迹蒸馏至 8B 学生模型，用一次采样恢复教师 0.51 倍能力，两次采样恢复至 0.70 倍；同时发现 RFT 会降低输出多样性从而损害采样收益。
最值得记住的一句话
“交互缩放是真实、区别于推理和采样的第三轴，但只有在反馈和评估两侧都接地时才能被看见。”