Sharpness-aware Model Merging with Salience Recovery for LLM-based Cross-Domain Sequential Recommendation
尖锐度感知的模型合并与显著性恢复：面向LLM跨域序列推荐
🧭 生成式跨域推荐 · Sharpness-aware模型合并 ★ 深度解读
Zhejiang University · Hangzhou Dianzi University
提出SharpRec，用平坦最小值对齐和重尾分布恢复解决LLM跨域推荐的参数干扰与性能饱和
📌 工作参考价值（4 点）
- 跨域LoRA合并的“平坦化”训练：在电商多场景（如服饰→美妆）做LoRA微调时，引入sharpness-aware目标（式7），让各域权重主动趋向平坦损失盆地，可大幅减少合并后的负迁移，避免异购场景相互覆盖。
- 后融合非线性重参数化：合并多个领域LoRA后，对聚合参数施加元素级非线性变换（式12）恢复重尾分布，能有效激活被平均化淹没的领域专家特征，适用于多域融合后性能天花板被线性聚合锁定的业务。
- 轻量级实现：SharpRec无需改动推理架构，只需在微调和合并阶段加入SGA正则化和PSA变换，计算开销小，可直接嵌入现有LoRA微调流水线，适合大规模推荐系统快速迭代。
- 鲁棒的非重叠用户场景：在稀疏重叠用户（低至20%）下仍显著优于传统CDSR方法，为电商冷启动或新域扩展提供了更可靠的跨域知识迁移方案。