SG-UMP: Sequence-Guided Universal Multimodal Prioritization Calculation Framework
序列引导的通用多模态优先级计算框架 SG-UMP
🧭 多模态序列推荐 · 动态模块路由
Imperial College London · University College London · Nanjing University of Posts and Telecommunications
即插即用插件 SG-UMP，用模块组合器与模块路由器动态调整多模态处理顺序，适配用户偏好与数据集偏差
📌 工作参考价值（4 点）
- 多模态融合从静态拼接/固定权重升级为用户级+数据集级动态路由：在电商推荐中，不同类目对模态敏感度差异大（美妆看图片、家电看参数文本），可借鉴 Module Router 根据用户最近行为序列自动调整图像/文本/属性特征的组合顺序与权重，替代全局统一方案。
- 插件式设计不改动主模型 backbone：SG-UMP 作为 drop-in 插件，能低成本接入已有精排/召回模型，在结构基本不变的情况下提升多模态信息利用效率，适合快速实验与 A/B 测试。
- 把“哪个模态先处理”建模为可学习路由问题：相比注意力加权，模块顺序路由更显式控制信息流，在搜索推荐系统里可用于决定商品标题、主图、用户评论等在特征编码中的处理次序，提升可解释性。
- 关注数据集级模态偏差：电商不同场景（首页猜你喜欢 vs 搜索）模态贡献差异大，学习 dataset-aware 路由策略可以避免一套权重打天下，方便跨场景迁移。