Unsupervised Data-Efficient Cross-Modal Retrieval with Global-Neighborhood Alignment Hashing
无监督数据高效跨模态检索：全局邻域对齐哈希
🧭 跨模态哈希 · 数据高效对齐
Nanyang Technological University · South China University of Technology · Henan Normal University · Peking University Shenzhen Graduate School · VinUniversity
仅用少量图文对，通过原型全局对齐与随机邻域对比学习，将视觉–语言大模型语义结构压缩为二进制哈希码
📌 工作参考价值（4 点）
- 在电商商品多模态检索中，可利用少量商品图文对训练哈希映射，大幅降低向量存储和检索成本，适合移动端或边缘设备部署。
- 原型锚定全局对齐思想可迁移到推荐系统的多模态特征融合，通过维护类别原型保持哈希空间全局语义结构，缓解小样本特征坍塌。
- 对比随机邻域对齐建模随机邻域关系，可缓解正负样本稀疏问题，在推荐中用于增强用户–物品交互图的表征学习，提升冷启动物品的语义索引质量。
- 从视觉–语言基础模型（如 CLIP）蒸馏哈希码的方法，可借鉴用于冷启动物品的快速二进制语义 ID 生成，加速召回并降低在线存储开销。