Modality-Aware Identity Construction and Counterfactual Structure Learning for ID-Free Multimodal Recommendation
模态感知身份构建与反事实结构学习实现无ID多模态推荐
🧭 生成式推荐 · ID-Free 多模态 · 反事实学习 ★ 深度解读
Hubei University · Wuhan University
通过动态模态感知位置编码和反事实图结构学习,大幅提升无ID多模态推荐的语义表达和长尾覆盖
📌 工作参考价值(4 点)
- 模态感知位置编码(MAIC):用文本和视觉语义生成门控,动态调制位置编码,使ID-free表征具备内容感知性。可直接用于生成式推荐的身份构建,用商品图文特征调整区分信号,增强冷启动物品泛化。
- 反事实图增强(CSL):通过流行度惩罚选取低曝光但语义相似的邻居,构建反事实图,缓解流行偏差。适合电商长尾商品发现,可嵌入现有GNN推荐管线,改善推荐多样性和公平性。
- 自监督结构对比:跨层对齐和去耦判别损失稳定低曝光语义结构在多层传播中的保留。该trick可迁移到任何图学习推荐模型,增强结构鲁棒性。
- 多模态融合权重调优:不同品类(如服装vs宠物)文本/视觉门控融合比例需单独优化,提示工程落地时宜按业务场景自适应调整多模态贡献。