Scaffold:基于支撑图理论的图神经网络稀疏化框架
🧭 图神经网络稀疏化 · 支撑图理论
Pacific Northwest National Laboratory · University of Texas at Dallas · University of North Carolina at Charlotte · Adobe · Boise State University
用支撑图理论联合控制 dilation 与 congestion 的拓扑稀疏化方法,在 GNN 上大幅降存提速且保持性能
📌 工作参考价值(4 点)
- 在大规模 user-item 二部图或商品知识图谱上训练 GNN 时,可将 Scaffold 作为预处理边稀疏化步骤,替代随机采样或度中心性采样,在 10%-50% 边保留率下接近全图性能,显存占用减半以上,适合电商推荐中的大规模图训练。
- dilation-congestion 联合约束可以直接借鉴到构建轻量图子图或缓存图结构:删边时评估替代路径长度(dilation)和路径集中度(congestion),避免切断关键通信路径,对实时推荐或增量更新子图有工程价值。
- 方法在异配图(heterophilic)上同样有效,可用于处理社交关系、用户共现等噪声连接较多的场景,提升 GNN 抗噪能力。
- 已开源实现,作为独立预处理模块可快速接入 PyG/DGL 训练流程,端到端训练时间(含稀疏化开销)仍低于全图训练,适合线上迭代。
MURAL:基于自适应边学习的多模态不确定性感知推荐
🧭 多模态推荐 · 动态图与不确定性融合
American University · Ulsan National Institute of Science and Technology · Michigan State University
用动态自适应边学习和不确定性感知融合,解决多模态推荐静态图与噪声融合瓶颈
📌 工作参考价值(4 点)
- 动态边学习替代静态 item-item 相似图:推荐系统里用可微检索 + ANN 实时构建 item 图,能跟随用户行为变化,O(N log N) 复杂度适合大规模商品库。
- 不确定性感知多模态融合:对商品标题、图片、视频等模态建模 aleatoric uncertainty,动态降低噪声模态权重,在 UGC 素材质量参差时提升稳定性。
- Teacher-student 对齐到行为信号:将多模态表征蒸馏到协同过滤表征,用点击/购买等行为 anchor 做对比学习,避免模态噪声破坏协同信号。
- 鲁棒性与可解释性:在数据缺失/损坏场景下有效;通过模态权重可解释垂直域依赖,如时尚重图、电子重文本,便于业务沉淀特征优先级。
大规模好友推荐图神经网络:多哈希用户嵌入与时序邻居采样
🧭 大规模图神经网络 · 多哈希嵌入与时间邻居采样 ★ 深度解读
AI VK
用多哈希嵌入压缩98% ID表、以timestamp-sorted CSR+二分搜索加速时序邻居采样,线上好友添加提升16%
📌 工作参考价值(4 点)
- 高基数 ID 特征可优先尝试 multi-hash:用 k=3 个独立哈希映射到共享表 B=2^21、d=256,拼接后线性投影,ID 表从 203GB 降到 2GB,且离线 ROC-AUC 略高于 full table(0.6278 vs 0.6246),存在隐式正则化收益。电商/广告中的用户 ID、店铺 ID、类目交叉等高基数特征可复用此套路。
- 时序图训练务必做时间邻居采样,否则未来边泄漏导致明显掉点(本文 ROC-AUC 降 0.037)。工程上用 timestamp-sorted CSR + lower_bound 二分搜索定位有效前缀再采样,将每 batch 采样时间从 1473ms 降到 595ms,接近非时序成本。对用户行为序列、社交/互动图等动态图尤其有用。
- 大规模图训练采用 CPU 采样与 GPU 训练解耦的 producer-consumer 流水线,CSR 索引用 32-bit 存邻居 ID 和时间戳、64-bit 存 offset,可把 225GB 图压缩到单机 8×A100 可承载;资源受限团队可直接借鉴该存储与调度方案。
- GNN 在线推理成本高,可改为周期性离线刷新用户嵌入,服务时作为特征供下游 GBDT ranker 读取;同时用 query/candidate 双头区分同一用户作为请求方与候选方的不同角色,该技巧对双塔召回/排序也有迁移价值。
面向知识图谱的图语言模型增强检索生成
🧭 图增强检索生成 · 多跳推理
Institute of Computational Linguistics, Heidelberg University · Aleph Alpha Research
微调图语言模型检索器在多跳知识图谱RAG中取得跨领域SOTA,泛化性优于GNN和向量检索
📌 工作参考价值(4 点)
- 图增强召回:在商品知识图谱上构建GLM检索器,将商品、属性、类目作为节点,微调后可直接用于多跳推理类推荐(如“适合露营的防晒帐篷”),提升跨品类泛化。
- 检索器架构选择:单跳场景优先用高效向量检索(如双塔);涉及多关系推理时改用GLM或GNN检索器,并关注图覆盖度与推理深度的权衡。
- 跨域迁移能力:若业务需快速扩展到新领域(如从服装到美妆),可利用GLM检索器的语言理解优势做zero/few-shot迁移,减少重新标注成本。
- 训练效率与覆盖的平衡:GNN检索器能用更少训练资源达到更高图覆盖率,适合冷启动或图谱频繁更新的场景;GLM检索器在充足数据下随参数量增大性能提升明显,适合主赛道长期投入。
图上同图跨任务迁移的协议与预测方法
🧭 同图跨任务迁移的评估协议与预测因子
University of Texas at Dallas · Virginia Polytechnic Institute and State University
提出无泄漏评估协议并揭示节点分类与链路预测跨任务迁移的方向性和可预测性
📌 工作参考价值(4 点)
- 泄漏防护协议可迁移至多任务图学习评估:在电商推荐中,用户-商品交互图常同时需要节点分类(如用户属性)和链路预测(如购买行为),可采用固定节点/边划分、消息传递图排除评估边、固定负样本的策略,避免数据泄漏导致的错误乐观估计。
- 根据同质性选择迁移方向:实验表明 NC→LP 在 homophilic 图上稳定正向,而 LP→NC 仅在结构易学且节点分类任务不饱和时才有效。在构建多任务模型时,可先计算图的同质性指数,指导是采用共享编码器还是分离任务分支。
- LP 作为结构预训练:在用户-商品图中,若节点属性稀疏或不可靠,可先用链路预测任务预训练 GNN,再微调到节点分类(如用户流失预测),但需监控目标任务的饱和程度,防止负迁移。
- CoTask Score (CTS) 作为联合目标:当需要单一编码器同时服务 NC 和 LP 时,CTS 能综合衡量两者效用,帮助选择最佳模型架构和训练机制,避免多任务折衷中的性能退化。
规模化物品嵌入:Yandex生态下GNN与ID嵌入对比
🧭 物品嵌入策略对比 · 工业级序列推荐
Yandex
大规模工业系统对比表明,GNN预训练嵌入仅在数据有限时有益,数据充足时端到端ID嵌入无差异
📌 工作参考价值(4 点)
- 大规模推荐系统(如电商首页Feed)训练数据充足时,直接使用哈希ID嵌入端到端训练即可,无需额外GNN预训练,节省特征工程和模型维护成本。
- 新业务或冷启动阶段(如垂直品类推荐)数据稀疏,可引入GNN预训练物品嵌入提升模型效果,但需评估额外的图构建和更新开销。
- 物品ID嵌入采用哈希技巧处理动态目录,降低嵌入表内存占用,适合频繁上新的电商场景,工程实现简单且有效。
- 该结论为排序/召回模型中的物品表征架构选型提供了清晰决策依据:先评估数据规模再决定是否加入预训练模块。