L2Rec: Towards Dual-View Understanding of LLMs for Personalized Recommendation
L2Rec：面向个性化推荐的 LLM 双视图理解
🧭 LLM 推荐 · 参数级双视图融合 ★ 深度解读
Netease Cloud Music
通过在参数层面为 LLM 注入行为与语义双视图 LoRA 专家，以个性化路由统一融合信号，显著提升推荐效果。
📌 工作参考价值（4 点）
- 参数级融合思路：将行为序列与文本语义在参数空间而非表示空间对齐，冻结 LLM 主干，仅更新视图特定的 LoRA 专家，避免了表示空间的分布不匹配。电商推荐中可借鉴，例如用户点击序列（行为）与商品标题/描述（语义）使用同样方法融合，降低多模态对齐难度。
- DPMoE 个性化路由：共享专家捕获跨视图共性，视图特定专家由三信号路由（上下文、用户向量、上下文-用户交互）选择。这种“用户感知的专家激活”可迁移到多任务推荐或 Agent 多模态输入——如协同商品浏览、对话意图等多视图，只需调整路由输入。
- 轻量高效部署：仅训练 5% 参数（~32M），主干冻结。线上 A/B 点击率提升 9.24%，证明参数级适配的工业可行性。可显式用于电商召回侧，作为上游表征模块，与下游匹配/排序无缝衔接。
- 训练稳定技巧：引入双向偏好对比损失（BPC）保持双视图表征一致性，以及负载均衡损失防止 MoE 路由坍塌。这些技巧在训练多视图 MoE 时可直接复用，尤其当多个视图共享专家时，避免特定专家被忽略。