#autoregressive

6 篇

Log-Depth Recurrent Language Modeling

对数深度循环语言建模

🧭 对数深度循环架构替代 Transformer

Imperial College London

扩展平衡树递归算子至自回归预测，实现对数深度与线性复杂度的语言建模，长度外推稳健

📌 工作参考价值（4 点）

用户长期行为序列建模可借鉴：电商/广告场景中用户历史长度大，Transformer 二次注意力成本高；对数深度递归算子提供线性复杂度且并行训练，适合作为长序列编码器候选。
所有前缀表示可高效计算：推荐系统常用用户历史前缀做序列预测，该方法避免逐位置重复计算，适合 next-item/next-query 训练效率优化。
长度外推稳健：线上序列长度波动大，位置编码失效常见；可考虑引入树结构或对数深度归纳偏置，缓解长度外推问题。
该工作目前性能仅接近 ALiBi Transformer，仍属初步研究，落地需在业务序列模型上验证收益，不宜直接替换。

LLM | 2026-09-23 | cs.LG | score 6/10

Studying Image Tokenizers as Visual Languages in Unified Multimodal Models

统一多模态模型中图像分词器作为视觉语言的研究

🧭 多模态模型训练与图像分词器评估

University of Washington · Amazon FAR

通过跟踪分任务验证损失，揭示图像分词器与文本联合建模时的损失-性能关系及设计影响

📌 工作参考价值（4 点）

在多模态联合训练中，按 task 分别监控 validation loss（text、image、T2I、I2T），而不是只看整体 loss，可以更早定位数据配比、分词器或训练不稳定的问题；尤其适用于电商图文统一模型（如商品图 + 文案生成）。
选图像 tokenizer 时，用 I2T loss（基于共享文本词表）作为跨模型一致的评估信号，比 T2I loss 或重建指标更稳定，且与下游生成和视觉理解性能都相关；适合作为早停、模型选择或在线监控指标。
不要单独根据重建质量（如 FID、SSIM）选择图像 tokenizer，因为更好的重建不保证更低的任务损失或更强的下游性能；应该结合任务损失和实际业务指标（如商品图到文案的匹配度、点击率）做融合判断。
图像 tokenizer 的选择会影响联合优化下的文本建模，因此当在同一模型中同时处理商品图片和文本时（如视觉问答、图文搜索），更换 tokenizer 后需要重新检查文本侧的 fine-tune 效果和 loss 变化。

Multimodal | 2026-09-07 | HF Daily | score 6/10

image tokenizer multimodal autoregressive training dynamics evaluation

MODUS: Decoder-Only Any-to-Any Modeling of Diverse Modalities

MODUS：仅用解码器的任意模态到任意模态统一建模

🧭 解码器仅有 · 任意到任意多模态建模

EPFL · Apple · University of Copenhagen · CUHK · University of Geneva

提出解码器仅有的任意模态到任意模态统一框架，无需特定头或损失，支持链式生成与自我验证

📌 工作参考价值（4 点）

多模态搜推统一表示：将商品标题、描述、图片、属性等异构模态统一 token 化，用单一解码器模型完成多模态理解与生成，可简化特征工程与模型部署。
跨模态增强与验证：利用模型生成深度、法线等中间模态，增强商品图像理解；或在生成描述后，用另一模态（如图像）对文本输出进行自我验证，提升生成质量与可信度。
链式生成与多步推理：通过中间模态链式生成（如文本→草图→商品图），实现复杂创意内容生产，适用于动态广告物料生成、个性化推荐理由可视化等场景。
工程实现轻量化：取消模态专用头与多任务管道，所有模态共享同一个 Transformer 解码器，降低多模态业务维护成本，便于快速扩展新模态。

Multimodal | 2026-07-27 | HF Daily | score 6/10

any-to-any decoder-only multimodal autoregressive self-verification vision-language

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

Nemotron-Labs-Diffusion：统一自回归、扩散与自推测的三模式语言模型

🧭 扩散语言模型 · 自推测解码

单模型支持自回归、扩散、自推测三种解码模式，在吞吐和效率上显著超越开源AR和扩散LM。

📌 工作参考价值（4 点）

Agent 系统低延迟推理：在对话或实时推荐 Agent 中，可切换至自推测模式，用扩散模型快速生成草稿再由 AR 验证，有效降低首 token 延迟和端到端耗时。
离线批量生成任务：生成大量商品描述、广告文案等场景，启用纯扩散模式并行解码，大幅提升吞吐，降低 GPU 成本。
灵活部署与资源管理：三模式架构允许根据 Concurrent Users 动态切换：高并发用 AR 减少排队，低并发用自推测提升交互体验，离线任务用扩散最大化硬件利用率。
训练范式迁移：联合 AR 与扩散训练的策略可借鉴至推荐系统，用于同时捕捉序列依赖（用户行为序列）和全局规划（推荐列表多样性），提升生成式推荐的质量。

LLM | 2026-07-06 | HF Daily | score 7/10

diffusion autoregressive self-speculation throughput optimization tri-mode parallel decoding

Demystifying Training-Time Augmentation for Data-Constrained Language Model Pretraining

解密数据受限下语言模型预训练的训练时数据增强

🧭 训练时增强 · 多轮训练正则化

UC San Diego · RMIT University · Bloomberg AI

系统研究三类训练时增强（token噪声、序列置换、目标偏移）缓解自回归模型在多轮数据训练时的严重过拟合

📌 工作参考价值（4 点）

当训练数据有限需反复遍历（如用户行为序列）时，可在自回归下一行为预测中引入随机 token 替换或 masking 作为增强，延迟过拟合，降低验证损失。
组合多种增强类别（如随机替换 + 序列逆序 + 偏移预测）能进一步降低最小验证 loss，可作为通用训练 trick 加入推荐模型的预训练或微调流程。
目标偏移预测（预测未来第 k 个 token）可迁移到用户长序列建模中，强制模型学习更长期的依赖，减轻短视过拟合。
该方法实现简单，不改变模型结构，适合在现有自回归推荐（如 SASRec 类）或 LLM-based 生成式推荐中快速实验。

Training | 2026-06-18 | HF Daily | score 7/10

data augmentation pretraining overfitting data-constrained autoregressive regularization

MaineCoon: Pursuing A Real-Time Audio-Visual Social World Model

MaineCoon：实时视听社交世界模型

🧭 实时视听世界模型 · Agent流式推理

Catnip AI Team

首个实时视听自回归世界模型，22B参数单GPU可达47.5 FPS，支持千秒级流式生成与亚秒交互

📌 工作参考价值（4 点）

实时视听生成可赋能电商直播：单GPU低延迟流式生成技术可直接用于虚拟主播或商品讲解视频的实时制作，大幅降低内容生产成本。
长上下文的Agent缓存与规划：代理流式推理框架中的缓存管理与提示规划能解决长序列生成中的漂移问题，可迁移到对话式推荐Agent，保持长时间交互的主题一致性。
跨模态对齐提升推荐质量：论文中的跨模态表示对齐方法可借鉴到视频推荐的多模态特征融合，优化视觉与文本、音频的联合表示，提升排序效果。
在线策略蒸馏加速模型迭代：ROPD等强化蒸馏技术可应用于推荐模型的在线学习，将大模型的偏好快速蒸馏到轻量部署模型，兼顾效果与推理效率。

Multimodal | 2026-06-15 | HF Daily | score 6/10

audio-visual autoregressive real-time world model agentic streaming reinforcement distillation