Text-Guided Visual Representation Learning for Robust Multimodal E-Commerce Recommendation
文本引导的视觉表征学习：电商多模态推荐中稳健应对促销遮挡
🧭 生成式推荐 · 多模态表征 · 双流视觉连接器 ★ 深度解读
Tsinghua University · JD.COM
用结构化元数据引导视觉 token 提取，双流解耦并门控校准，显著提升海报式商品图的检索鲁棒性。
📌 工作参考价值（4 点）
- 双流视觉解耦 + 可靠性门控：将视觉证据分为元数据锚定流和探索流，并通过 cSigmoid 门控进行通道级校准，可迁移到任何多模态商品 embedding 的视觉侧，解决营销图像干扰问题。
- 用标题信号衡量图文一致性：利用 CLIP 全局嵌入计算 image–title 余弦相似度作为门控输入，无需额外标注，可直接用于电商场景的视觉质量判定和自适应融合。
- 冗余缩减正则鼓励互补性：对双流输出做跨流同维去相关，避免两路学到冗余信号，增强联合表征的信息量，适合在对比学习框架下提升检索泛化。
- MLRM 范式优于端到端 MLLM：同等视觉编码器下，轻量连接器 + 检索优化 LLM backbone 的推理 FLOPs 仅需 35G，比 2-4B MLLM 低 8-20 倍，而 Hit Rate 高出 3-5 个绝对点，为工业 I2I 召回提供高性价比方案。