IMFuse: Instance-Aware Multi-Layer Fusion for LLM-Enhanced Sequential Recommendation
IMFuse：面向LLM增强序列推荐的实例感知多层融合
🧭 实例感知多层融合 · LLM增强序列推荐 ★ 深度解读
Zhejiang University · Zhengzhou University · University of Science and Technology of China
自适应聚合LLM多层语义表示，以全局维度偏好与实例感知调制解决最终层坍塌，提升推荐质量
📌 工作参考价值（4 点）
- 多层语义融合即插即用：现有LLM增强推荐只取最终层，容易丢失中间层互补信息。IMFuse 作为轻量插件（+0.03M参数），可在不改动下游模型的情况下，将多层的维度级全局偏好与物品实例调制接入现有 pipeline，直接提升 item embedding 质量，适合快速上线验证。
- 处理不同品类/属性物品的语义深度差异：通过 instance-aware 专家调制，动态为每个 item 分配不同的层融合权重。在电商推荐中，标品（如电子产品）与非标品（如服饰）可能需要不同粒度的语义，可借鉴该思路为不同品类或生命周期阶段（新品、成熟品）定制层选择策略。
- 初始化策略与训练技巧：采用深度偏置初始化（层深度越高初始权重越大）提供弱先验，可稳定训练并加速收敛。在实际业务中，可以先从最终层权重为主开始，再让模型自主学习调整层偏好，避免随机初始化带来的不稳定。
- 参数效率与推理开销可控：训练与推理耗时相比基础方法仅增加约3~4%，适合在线服务。若担心多层编码的计算压力，可预先计算并缓存各层 embedding，融合只在 forward 时做一次加权求和，成本极低。