HyperAgent4POI: Dynamic Semantic Message Passing on Multi-Agent Hypergraphs for Missing-Modality Recommendation
HyperAgent4POI:动态语义消息传递的多智能体超图缺失模态推荐
🧭 缺失模态补全 · 超图消息传递 · LLM增强推荐 ★ 深度解读
Swinburne University of Technology · Tongji University · Singapore University of Technology and Design
在超图层内用冻结Llama+LoRA联合完成模态补全与软关联细化,有效应对POI多模态缺失
📌 工作参考价值(4 点)
- 缺失模态补全与消息传递层内耦合:电商商品描述、图片常缺失,可借鉴DSMP在每层GNN/超图传递时利用LLM根据当前邻域上下文动态补全,使用冻结主干+LoRA适配器,既避免重训大模型又比一次补全更准确。
- 软关联学习控制拓扑漂移:推荐图中交互边常有噪声,DSMP通过有界候选池(固定K_ret)、软关联分数和保守KL正则,允许层内拓扑可微调整。可迁移到物品共现或查询-文档超图,用阈值筛选控制图规模,提升高阶关系挖掘的鲁棒性。
- 离线LLM语义增强,在线无LLM延迟:角色提示词和LoRA操作仅在训练/离线刷新时运行,最终节点表示缓存用于点积排序,线上不调用LLM。在搜索推荐系统中,可离线用LLM丰富商品或用户表征,在线直接检索缓存向量,兼顾效果与性能。
- 可插拔角色适配器与消息接口:聚合、拓扑、补全等语义操作使用同一冻干主干但各自独立的LoRA,模式高度复用。在商品属性补全、用户兴趣演化等任务,可定义不同提示模板和LoRA适配器,保持主干参数冻结,大幅减少训练参数量,适合多任务和轻量化部署。