SCOPE-Router: Cost-Aware Open-Set VLM Routing for Execution-Oriented Tasks
SCOPE-Router:面向执行任务的开集成本感知 VLM 路由
🧭 VLM 路由 · 成本感知训练 ★ 深度解读
CASIA · UCAS · NUS · Tencent
提出执行导向 VLM 路由基准、开集双塔路由器和成本感知训练目标 CRM+RCCR,在三个基准上取得最佳 Rank Score
📌 工作参考价值(4 点)
- 成本感知损失设计可直接迁移:将成本编码为连续 relevance target(正确且最低成本为 1,其他正确模型按成本指数衰减,错误为 0),用 per-pair BCE 替代 softmax CE,避免多正样本梯度稀释。在电商多模型路由(如广告创意生成、商品文案生成)中可直接替换现有分类器 loss,无需改动模型结构。
- 开集模型接入方案实用:为新模型构造行为 profile(正确性、成本、价值向量、语义汇总向量),只需在约 1024 条校准集上跑一次即可加入路由池,无需重新训练路由器。适合频繁上线新模型/版本的业务场景,如 LLM API 切换或多模态内容审核模型更新。
- 混合校准集选择策略可复用:按 50% 随机 + 30% 诊断(模型分歧度 + 成本分布)+ 20% 多样性(聚类质心)采样,有限的标注预算下最大化 profile 区分度。在自建路由训练数据或评估模型互补性时可以参考。
- 架构无关的 CRM+RCCR 目标可试用于现有路由系统:论文实证在 RouterDC、ZOOTER、CosineCls、VLC 四个不同架构上 Rank Score 提升 1.25–6.21 点。若业务已有简单的 query-model 打分器,可将该 loss 嵌入微调,获得成本感知能力。