AI Papers Daily

#vision-language

4 篇

MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

MODUS：仅用解码器的任意模态到任意模态统一建模

🧭 解码器仅有 · 任意到任意多模态建模

EPFL · Apple · University of Copenhagen · CUHK · University of Geneva

提出解码器仅有的任意模态到任意模态统一框架，无需特定头或损失，支持链式生成与自我验证

📌 工作参考价值（4 点）

• 多模态搜推统一表示：将商品标题、描述、图片、属性等异构模态统一 token 化，用单一解码器模型完成多模态理解与生成，可简化特征工程与模型部署。
• 跨模态增强与验证：利用模型生成深度、法线等中间模态，增强商品图像理解；或在生成描述后，用另一模态（如图像）对文本输出进行自我验证，提升生成质量与可信度。
• 链式生成与多步推理：通过中间模态链式生成（如文本→草图→商品图），实现复杂创意内容生产，适用于动态广告物料生成、个性化推荐理由可视化等场景。
• 工程实现轻量化：取消模态专用头与多任务管道，所有模态共享同一个 Transformer 解码器，降低多模态业务维护成本，便于快速扩展新模态。

Multimodal | 2026-07-27 | HF Daily | score 6/10

any-to-anydecoder-onlymultimodalautoregressiveself-verificationvision-language

Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks

多模态遗忘：视觉、语言、视频与音频的综述

🧭 多模态遗忘 · 选择性去学习

University of Maryland, Baltimore County · University of Notre Dame · UNC Chapel Hill

系统梳理多模态遗忘的干预点、方法、数据集与基准，建立跨架构的统一分类体系

📌 工作参考价值（4 点）

• 电商/推荐系统中数据删除与模型矫正：若用多模态模型生成商品描述或推荐，当用户要求删除个人数据或平台需移除版权物料时，可借鉴参数高效遗忘方法（如 LoRA 适配器、梯度编辑），在不重训模型的前提下定向遗忘。
• 消除跨模态不良关联：在搜索推荐中，用联合图文表征可能产生性别、种族等偏见关联（如“医生→男”），可采用架构约束遗忘或解码时干预，切断特定跨模态联系，同时保留通用能力。
• 在线服务安全迭代：面对舆情或法规变化，需紧急屏蔽某类商品或内容，可利用训练时的“遗忘正则项”或数据侧屏蔽，快速使模型停止生成相关推荐，避免全量回退。
• 评估体系参考：综述整理了多模态遗忘的度量维度（遗忘强度、保留度、效率、可逆性、鲁棒性），从业者可据此设计离线验证指标，确保遗忘操作不影响推荐核心指标。

Other | 2026-07-08 | cs.MM | score 6/10

multimodalunlearningsurveyvision-languagediffusionsafety

Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation

秩感知双曲对齐的视觉语言数据集蒸馏

🧭 多模态数据集蒸馏 · 双曲对齐与低秩控制

Korea Advanced Institute of Science and Technology (KAIST) · Electronics and Telecommunications Research Institute (ETRI)

在双曲空间中对齐低秩共享语义并正则化残差子空间，提升多模态蒸馏的检索与迁移鲁棒性

📌 工作参考价值（4 点）

• 电商图文推荐的数据压缩：商品图与描述常呈低秩关联，RAHA 的双曲共享范围对齐与残差正则化可分离核心语义与噪声，用于构建紧凑的蒸馏训练集，降低训练成本。
• 多模态对齐中的鲁棒性提升：非对称测地线目标可避免强制全维对齐造成的过约束，适合图文匹配任务（如搜索广告素材优选）中对模态私有特征的保留。
• 联邦学习或隐私受限场景：借鉴蒸馏思想，用少量合成的代表点替代原始数据参与分布式训练，RAHA 的秩感知控制可保证下游模型泛化。
• 主要适用学术研究，业务迁移需额外适配双曲网络层与矩阵分解的工程实现，短期收益待验证。

Training | 2026-06-27 | HF Daily | score 6/10

dataset distillationvision-languagehyperbolic geometrylow-rank alignmentcross-modal retrievalcontrastive learning

Res$^2$CLIP: Few-Shot Generalist Anomaly Detection with Residual-to-Residual Alignment

Res²CLIP：基于残差到残差对齐的少样本通用异常检测

🧭 多模态异常检测 · 残差对齐

Beihang University · University of Science and Technology Beijing · Beijing Jiaotong University

将多模态对齐完全移入统一残差空间，同时解决跨粒度不匹配与跨类别泛化退化问题

📌 工作参考价值（4 点）

• 对于电商商品的少样本缺陷检测，可直接沿用残差对齐思路：冻结 CLIP 主干，仅在残差空间中学习可训练的文本/视觉提示，避免辅助数据集导致类别偏差，实现对新品类的快速适应。
• 在跨模态推荐（如文本-图像搜索）中，可借鉴残差空间对齐的设计：让模型关注相对差异而非绝对特征，提升未见品类的泛化能力；可设计对称的残差桥接损失，强化图文匹配的判别性。
• 微调 CLIP 做下游任务时，将优化约束在残差域可减少灾难性遗忘，保护开集泛化能力；此 trick 可用于商品描述生成、多模态知识图谱构建等需要保持开放世界能力的场景。
• 方法中的“残差预归一化”和“残差对齐损失”可拆解复用：前端用预归一化抑制正常样本的细粒度差异，后端用均方误对齐让模型聚焦异常偏差，两者结合可提升少样本下的异常区分度。

Multimodal | 2026-05-15 | cs.CV | score 6/10

few-shot anomaly detectionCLIPresidual alignmentvision-languagecross-category generalizationmultimodal