Orthogonal JEPA: Factorized Predictive States for Latent World Models
正交 JEPA：面向潜在世界模型的因子化预测状态
🧭 预测表征学习 · 世界模型
The Chinese University of Hong Kong (CUHK)
提出正交预测因子化框架，将目标状态分解为多个正交组件分别预测，缓解主导信号对表征学习的干扰
📌 工作参考价值（4 点）
- 多任务/多目标推荐中共享 backbone 常面临负迁移：可借鉴正交因子分解，将目标空间分解为多个正交组件，每个任务/目标使用独立预测头，显式鼓励任务表征方向不重叠，缓解主导任务（如 CTR）对辅助任务（如收藏、GMV）的梯度压制。
- 在用户序列建模或商品表征预训练中，JEPA 式自监督学习可用：对 next-item 预测或跨视图预测，把目标 embedding 用基矩阵分解为多个正交因子，分别预测后合成，避免单一预测头只拟合热门/高频特征，提升对长尾兴趣的覆盖。
- 在线方差正则化可防止 embedding 坐标坍缩，适合推荐模型 embedding 层或序列编码器，避免有效维度减少；因子活动正则化思想可迁移到多兴趣表征，保持不同兴趣向量的多样性。
- 该预测状态机制可支持 planning/rollout，对 Agent 在推荐环境中做用户模拟或策略评估时，可构建因子化世界模型，生成更稳定的用户状态转移。