AI Papers Daily

#JEPA

5 篇

Proving and Improving the Platonic Representation Hypothesis with JEPAs

用 JEPA 证明并改进柏拉图表征假说

🧭 多模态表示对齐 · JEPA 理论

Brown University · New York University · AMI Labs

证明基于“好视图”的 JEPA 可跨模态对齐表征，且比 next-token 高效 42 倍

📌 工作参考价值（4 点）

• 多模态商品/内容塔可尝试用 JEPA 式“同一商品/场景的两个视图”构造正对，替代或辅助 CLIP 式图文对比，降低对大规模成对数据的依赖。
• 正对质量优先于数据规模：在电商语料中构造标题 vs 属性描述、原图 vs 增强视图等 good views，可能以远小于 next-token 预训练的样本量获得跨模态对齐，节省训练成本。
• 文本塔单独自监督训练后仅需学习一个旋转矩阵即可实现图像-文本检索/文案生成，适合为商品图生成短描述或跨模态召回。
• 若业务中有不成对的图文/视频/行为数据，可借鉴其 pair-free 零样本评测思路，验证表征对齐是否足够支撑下游任务。

Multimodal | 2026-10-28 | HF Daily | score 6/10

JEPAPlatonic Representationmultimodal alignmentself-supervised learningscaling lawsimage-text alignment

LaLa-World: Scaling Latent World Models with Natural Language Actions

LaLa-World：用自然语言动作扩展潜在世界模型

🧭 语言条件潜在世界模型与规划

NAVER AI Lab · Georgia Institute of Technology · Brown University · Mila & Université de Montréal

用语言描述动作与视觉变化，让单一LLM潜在世界模型跨异构数据训练，实现高效规划与策略初始化

📌 工作参考价值（4 点）

• 将异构用户行为数据（点击、购买、曝光、反馈）和场景特征统一为自然语言描述，可联合训练单一世界模型，支持跨域推荐和冷启动场景下的行为预测。
• 用LLM作为环境状态预测器，替代像素/隐向量级别的生成，既能理解语言条件，又能大幅降低训练与推理成本，适合在线实时规划（如MPC）和反事实推演。
• 预训练的用户行为世界模型可作为下游策略（如RL推荐策略）的初始化，加速收敛，类似LaLa-Policy的思路可以迁移到Agent策略微调。
• 语言化动作和状态对措辞变化具有鲁棒性，适合处理自然语言形式的用户意图或Agent指令，增强系统对模糊输入的容错。

Agent | 2026-10-20 | HF Daily | score 6/10

Latent World ModelJEPALLMMPCLanguage ActionsPolicy Fine-tuning

Orthogonal JEPA: Factorized Predictive States for Latent World Models

正交 JEPA：面向潜在世界模型的因子化预测状态

🧭 预测表征学习 · 世界模型

The Chinese University of Hong Kong (CUHK)

提出正交预测因子化框架，将目标状态分解为多个正交组件分别预测，缓解主导信号对表征学习的干扰

📌 工作参考价值（4 点）

• 多任务/多目标推荐中共享 backbone 常面临负迁移：可借鉴正交因子分解，将目标空间分解为多个正交组件，每个任务/目标使用独立预测头，显式鼓励任务表征方向不重叠，缓解主导任务（如 CTR）对辅助任务（如收藏、GMV）的梯度压制。
• 在用户序列建模或商品表征预训练中，JEPA 式自监督学习可用：对 next-item 预测或跨视图预测，把目标 embedding 用基矩阵分解为多个正交因子，分别预测后合成，避免单一预测头只拟合热门/高频特征，提升对长尾兴趣的覆盖。
• 在线方差正则化可防止 embedding 坐标坍缩，适合推荐模型 embedding 层或序列编码器，避免有效维度减少；因子活动正则化思想可迁移到多兴趣表征，保持不同兴趣向量的多样性。
• 该预测状态机制可支持 planning/rollout，对 Agent 在推荐环境中做用户模拟或策略评估时，可构建因子化世界模型，生成更稳定的用户状态转移。

Other | 2026-08-20 | cs.LG | score 6/10

JEPAWorld ModelsPredictive FactorizationOrthogonalityRepresentation Learning

Helping Music Co-Creation Agents 'Listen' Well: Hierarchical Self-Supervised World Models for Understanding and Generation

音乐共创智能体的层次化自监督世界模型

🧭 层次化自监督世界模型 · 音乐生成

Department of Chemistry & Physics, Belmont University

层次化自监督表征使音乐理解与生成解耦，小模型结合流匹配实现实时可交互的共创建议

📌 工作参考价值（4 点）

• 层次化自监督表征学习可用于序列推荐：粗粒度层级对应长期兴趣（如主题、品类偏好），细粒度层级捕捉短期具体意图（如品牌、价格敏感度），JEPA 的平移等变目标可增强时序泛化，适合电商用户行为建模。
• RAE + 流匹配的轻量生成框架：可将物品 Semantic ID 经 PCA 压缩后作为条件，用流匹配生成推荐序列，层级条件丢弃技巧直接控制推荐结果的多样性与相关性平衡，无需额外采样器。
• 小模型（2.55M）CPU 推理 2.8s 的工程启示：对边缘设备或低延迟推荐 Agent 友好，可考虑用层次化浅层 Swin 编码器替代 Transformer 以压缩推理成本。
• 和弦监督头提升无监督调性检测的现象类比：在推荐中，少量有监督辅助任务（如类目预测）能显著增强无属性标签的冷启动物品表征，值得设计多任务头共享主干。

GenRec | 2026-08-04 | HF Daily | score 6/10

Self-Supervised LearningJEPAHierarchical RepresentationsWorld ModelsFlow MatchingHuman-AI Collaboration

FactorJEPA: Factorizing Monolithic Futures into Layout-Agent-Interaction Channels for Crowded and Chaotic Global South Urban Worlds

FactorJEPA：将单一未来分解为布局-实体-交互通道，用于拥挤南半球城市场景预测

🧭 世界模型 · 多模态动态预测

San Jose State University · UC Berkeley · Apple · Meta · PocketFM

将世界模型预测分解为布局、实体、交互三个因子，在拥挤南半球城市场景中显著提升预测精度与鲁棒性

📌 工作参考价值（4 点）

• 世界模型与电商/推荐业务距离较远，直接迁移价值有限
• 将复杂动态系统显式分解为场景布局、实体状态、交互关系的思路，可启发推荐系统中对用户状态、物品属性、交互关系的分离建模
• 使用 visibility gate 处理部分可观测（如用户行为缺失、冷启动）的设计，在序列推荐或 Agent 交互建模中有参考意义
• 提供大规模多样性数据集构建方法（覆盖22城市、多天气、混杂交通），对需要构建多域推荐数据集的团队有一定借鉴

Other | 2026-08-01 | HF Daily | score 6/10

World ModelJEPAMulti-AgentDENSEWORLDFactorized PredictionGlobal South