Learning What to Say to Your VLA: Mostly Harmless Vision Language Action Model Steering
学会对VLA说什么：几乎无害的视觉语言动作模型引导
🧭 具身智能 · VLA语言引导与安全拒绝
Carnegie Mellon University
交互式搜索语言序列并利用共形预测实现无害化语言引导，显著提升冻结VLA的任务成功率
📌 工作参考价值
- 冻结模型的语言层干预：在推荐或对话Agent中，若已有强大的基座模型（如LLM），无需微调模型权重，通过学习一个轻量的语言策略（LFP）在测试时动态改写用户指令或系统提示，即可引导模型行为，避免重训成本。
- 结构化语言空间搜索与蒸馏：通过VLM生成叙述先验，再基于LLM产生局部语义扰动，最后用闭环rollout筛选高奖励序列并蒸馏到小模型，这种方法可直接用于生成式推荐中的query/文案优化：先由大模型提供候选，再通过在线A/B或模拟环境筛选，最后蒸馏到轻量策略。
- 共形预测实现安全拒绝：训练一个改进头预测干预收益，再用共形预测校准阈值，当分布外时拒绝语言引导，退回原始指令。这种“无害优先”的安全机制可以应用到风险敏感的电商Agent中，如仅在高置信度下进行动态价格推荐或主动营销。
- 闭环语言反馈的恢复行为：与一次性改写指令不同，闭环语言策略能根据环境状态实时调整语言，实现错误恢复。在对话式推荐或多步Agent协作中，实时反馈和状态适应是提升任务完成率的关键。
动机
VLA模型通过自然语言控制机器人，但语言到行为的映射脆弱且不直观：语义相近的指令可能引发截然不同的动作，而某些技能根本无法通过提示词激发。直接使用人工指令或零样本LLM往往无法可靠完成任务。为此，需要一种方法在测试时自动搜索能提升VLA性能的语言序列，并确保在未知场景下不会因错误引导而降低成功率。
方法关键点
提出三阶段框架，在冻结的VLA上学习“几乎无害”的语言反馈策略（LFP）：
- 叙述微调：用VLM对机器人视频逐帧生成子任务描述，构建语言先验数据集，监督微调得到初始语言策略π_SFT，将开放词汇搜索限制在任务相关局部空间。
- 交互语言搜索：以π_SFT生成的种子序列为基础，用LLM产生多个轨迹级语义扰动（变动词汇、名词、组合），通过闭环rollout估计每个扰动相对于原始任务指令的性能增益，选出增益最大的序列，再用拒绝采样的方式蒸馏出π_RFT；同时训练一个MLP改进头，从初始观测预测语言引导能带来的收益。
- 共形预测校准：在held-out的视觉和语义扰动数据上计算改进头的共形分位数阈值，部署时仅当预测收益超过该阈值才启用LFP，否则回退至原始指令。理论上可控制有害引导的假阳性率不超过α（实验中α=0.1）。
关键结果
- 在LIBERO-OOD仿真基准上，π_RFT在训练环境提24.7%，在所有OOD场景组合（新背景、新干扰物、新语义）下均优于base VLA和直接微调VLA（π_VLA-SFT）；加入共形预测后，成功率达75.96%，假阳性率从38.92%降至9.31%，精准匹配目标误差率α=0.1。
- 在真实Franka机器人四个任务上，π_RFT平均提升65%，共形预测将有害引导从61.11%降至2.22%，且只增加了少量拒绝率（24.72%）。
- 数据效率方面，仅用10个成功rollouts训练的π_RFT即可匹敌用50个rollouts微调VLA的性能，且闭环语言反馈能在人为扰动下产生恢复行为，这是开环改写指令无法做到的。