Multimodal Unlearning Across Vision, Language, Video, and Audio: Survey of Methods, Datasets, and Benchmarks
多模态遗忘:视觉、语言、视频与音频的综述
🧭 多模态遗忘 · 选择性去学习
University of Maryland, Baltimore County · University of Notre Dame · UNC Chapel Hill
系统梳理多模态遗忘的干预点、方法、数据集与基准,建立跨架构的统一分类体系
📌 工作参考价值(4 点)
- 电商/推荐系统中数据删除与模型矫正:若用多模态模型生成商品描述或推荐,当用户要求删除个人数据或平台需移除版权物料时,可借鉴参数高效遗忘方法(如 LoRA 适配器、梯度编辑),在不重训模型的前提下定向遗忘。
- 消除跨模态不良关联:在搜索推荐中,用联合图文表征可能产生性别、种族等偏见关联(如“医生→男”),可采用架构约束遗忘或解码时干预,切断特定跨模态联系,同时保留通用能力。
- 在线服务安全迭代:面对舆情或法规变化,需紧急屏蔽某类商品或内容,可利用训练时的“遗忘正则项”或数据侧屏蔽,快速使模型停止生成相关推荐,避免全量回退。
- 评估体系参考:综述整理了多模态遗忘的度量维度(遗忘强度、保留度、效率、可逆性、鲁棒性),从业者可据此设计离线验证指标,确保遗忘操作不影响推荐核心指标。