PANDO: Efficient Multimodal AI Agents via Online Skill Distillation
PANDO:通过在线技能蒸馏实现高效多模态AI智能体
🧭 多模态Web Agent · 在线技能学习与推理效率 ★ 深度解读
Carnegie Mellon University
单一rollout在线技能蒸馏框架,以结构化技能库配合缓存感知路由,使Web Agent在提升成功率的同时大幅降低token消耗。
📌 工作参考价值(4 点)
- 结构化技能库用于重复子任务:将操作经验提炼为规则(模式触发)和参数化例程(如 apply_price_filter(min,max)),用确定性的关键词匹配替代嵌入检索,可直接借鉴到电商自动化流程(自动比价、筛选排序),减少Agent反复规划的开销。
- 分层路由与视觉压缩降低推理成本:仅对规划/反思调用强模型(如Claude Opus),高频执行由廉价模型(如GPT-5.2)完成,并压缩截图分辨率,适合商品详情页抓取、浏览器自动化等视觉输入密集的场景,在保证准确率的同时控制API成本。
- 在线学习与置信度降级保持技能库健康:采用Beta分布估计技能置信度,失败多次后自动降级并加入黑名单,阻止“发现-失败-再发现”的死循环,这一机制可迁移到推荐系统的在线策略更新,避免陈旧或低效策略的持续消耗。
- 缓存感知的提示布局提高KV-cache命中:将稳定的指令、工具Schema、技能摘要放在抖动较小的前缀位置,配合Anthropic的cache_control,使整个任务流的缓存利用率从约10%提升到72%,对于生产环境下长链路Agent降低延迟和成本有直接参考价值。