Not Only NTP: Extending Training Signal Coverage for Generative Recommendation
不仅限于NTP:扩展生成式推荐的训练信号覆盖
🧭 生成式推荐 · 训练信号优化
提出NONTP框架,通过时序对比学习和跨域学习增强NTP训练信号,提升生成式推荐效果
📌 工作参考价值(4 点)
- 训练信号增强可即插即用:TCL和TDL作为辅助任务,只增加训练开销,推理零成本,可直接嵌入现有基于NTP的生成式推荐模型,无需改动推理架构。
- 时序对比学习TCL:采用BYOL风格EMA教师和InfoNCE损失,将隐藏状态与未来K步轨迹对齐,能捕捉长程行为结构,适合电商用户长期兴趣建模,可尝试替代或补充传统序列建模。
- 跨域学习TDL:通过跨域隐藏状态池化后经共享预测头,无额外参数开启第二条梯度通路,有效融合多域行为,适合电商多场景联合训练(如搜索、推荐、广告序列混合)。
- 梯度冲突分析:论文发现辅助任务间可能存在梯度冲突,实际部署时需监控梯度余弦相似度,考虑动态调整任务权重或应用PCGrad等策略。