Mobile-Aptus: Confidence-Driven Proactive and Robust Interaction in MLLM-based Mobile-Using Agents
Mobile-Aptus：基于置信度驱动的MLLM移动代理主动鲁棒交互框架
🧭 移动代理 · 置信度驱动交互 ★ 深度解读
Shanghai Jiao Tong University · Meta (GenAI)
提出通用置信度集成框架，结合有监督微调与基于语义相似检索和DPO的置信度偏差校正，同时缓解移动代理的过度执行和过度请求问题
📌 工作参考价值（4 点）
- 可借鉴如何通过置信度分数让 agent 自主判断何时请求人工介入，避免因模型能力边界不清晰导致盲目执行或频繁打扰，适合电商售后、Agent 助理等场景，可复用 confidence-aware 的输出结构设计。
- 提出的两阶段训练流程（先 SFT 赋予置信度生成能力，再通过语义相似检索构建 DPO 对进行偏差校正）具有通用性，可直接迁移到推荐对话交互或生成式推荐中需要模型自省置信度的任务，提升模型自我评估的准确性。
- 在构建 DPO 正负例时，仅针对模型置信度预测错误的样本并利用语义相似度检索 top-k 相关样本构造对比对，能高效利用数据，避免全量标注；该数据增强 trick 可用于其他需要置信度校准的指令微调场景。
- 实验表明，用多智能体系统替代人工介入可在不牺牲任务成功率的前提下减少打断次数（TASK成功率提升32.91%，平均额外延迟仅0.56s），这为电商业务流程中人类介入环节的自动化提供了可行架构：部署一个云端多智体系统，在本地 agent 不确定时接管步骤。