When Is a Task Vector Enough? An Empirical Theory of Implicit Multimodal ICL
任务向量何时足够？隐式多模态上下文学习的实证理论
🧭 多模态 ICL 任务向量选择机制
Brown University
提出 Selection-Realization 假设，揭示静态任务向量在跨查询共享变化为主时足够，否则需更复杂干预
📌 工作参考价值
- 在电商搜索/推荐中用 LLM 做少样本任务（如属性抽取、意图分类）时，先对比正确演示与反事实的激活结构：若演示诱导的变化跨查询高度共享，用静态 task vector 压缩演示可大幅降低多模态 token 重复编码成本，适合高并发在线推理。
- 借鉴 Selection-Realization 假设做成本感知的方法选择：离线分析显式 ICL 的隐藏状态变化，判断任务是否可被局部加性偏移近似，无需上线测试即可决定用静态向量还是升级到 query-conditioned 或 attention routing。
- 对多模态商品理解任务，静态 task vector 可能只覆盖通用映射，遇到细粒度查询（如颜色/材质条件）时性能下降；可考虑按 query 子集聚类维护多个 task vector，或增加轻量 query 调制模块来捕获查询特定结构。
- 工程实现上，若任务相对稳定且演示较长，优先尝试将演示压缩为单次前向的激活偏移作为缓存，避免每次推理重复编码多模态演示，减少延迟和 KV cache 占用。
动机：多模态 in-context learning（M-ICL）灵活但推理开销大，隐式压缩将演示转化为内部干预（从静态 task vector 到 query-conditioned 变换、attention routing），但不同方法的复杂度差异与任务需求之间的关系不清晰。
方法关键点：提出 Selection–Realization 假设：演示诱导出一族内部变化，查询从中选择；模型计算约束所选变化的实现方式。在受控多模态任务中（query 依赖度可控且不改变底层任务原语或 prompt 格式），对比正确演示与匹配的反事实，测量显式 M-ICL 的结构，并检验该结构是否能预测不同干预方法的表现。
关键结果：静态 task vector 的成功与演示诱导变化在跨查询间的共享程度高度相关；当显式 M-ICL 包含查询特定或分布式结构且无法被局部加性偏移恢复时，更复杂的干预（query-conditioned 或 attention routing）才带来增益。该关系在自然 VQA 基准上同样成立，并支持在无法访问测试性能时进行成本感知的方法选择。