AI Papers Daily

#DiT

5 篇

StepAudio 3 Music Technical Report

StepAudio 3 Music 音乐生成技术报告

🧭 音乐生成 · ABC-CoT 显式规划

StepFun · ACE · The Chinese University of Hong Kong · University of California San Diego

支持 ABC-CoT 显式音乐规划与离散-连续表示的 5 分 30 秒级音乐生成模型

📌 工作参考价值（4 点）

• 显式中间规划再做最终生成：在推荐理由、push 文案、对话式导购等场景中，可以先产出结构化计划（如类目、卖点、风格、约束）作为部分上下文，再生成最终文案，提升可控性和结构一致性。
• 离散 token + 连续 latent 混合生成路径：生成式召回或内容生成中，可用 Semantic ID 作为离散 token，配合 diffusion 生成连续隐变量，兼顾语义可控与高保真重建。
• 低帧率大码本 single codebook：50Hz、65536 码本降低序列长度和解码成本；在 item/query 表示 tokenization 时可借鉴“低频帧 + 大码本 + 语义辅助多任务训练”。
• 用 DPO 直接优化业务偏好指标：AudioBox 的 enjoyment、usefulness、production quality 均在 DPO 后提升，说明推荐文案、搜索 query 生成等任务可以在 SFT 后用真实业务偏好做偏好优化。

Multimodal | 2026-09-10 | HF Daily | score 6/10

music generationflow matchingDiTMoEDPOaudio tokenizer

KroQuant: Kronecker-Structured Block Transforms for Efficient Post-Training Quantization of Diffusion Transformers

KroQuant：基于Kronecker结构化块变换的扩散模型高效训练后量化

🧭 扩散模型训练后量化：Kronecker块变换

提出KroQuant，用学习的Kronecker结构化块变换对激活做32元素块量化，比SmoothQuant更快且精度更高

📌 工作参考价值（4 点）

• 在推荐模型量化部署中，可借鉴KroQuant的块级Kronecker变换抑制激活异常值，参数少、在线开销低，适合实时推理。
• 将量化变换设计为32元素块的小GEMM，直接利用GPU Tensor Core加速，延迟更低。
• 离线LoRaQ权重校准可吸收量化后残差，提升精度，可作为PTQ流程的通用后处理步骤。
• 局部块变换替代全矩阵变换的思路，在保持量化质量同时大幅降低计算成本，适合搜索推荐系统的高吞吐需求。

Training | 2026-07-23 | cs.LG | score 6/10

PTQQuantizationDiTKroneckerTensorCoreLoRA

From RGB Generation to Dense Field Readout: Pixel-Space Dense Prediction with Text-to-Image Models

从 RGB 生成到密集场读出：用文生图模型做像素空间密集预测

🧭 利用文生图 DiT 直接读出密集预测场

UCSD · HKUST

冻结 DiT 并加 LoRA，直接从 patch token 线性读出深度/法线等密集场，避免生成 RGB 再解码

📌 工作参考价值（3 点）

• 冻结大模型 + 线性读出：用预训练生成模型作为编码器后，直接接任务线性头输出密集数值，避免生成中间媒介，简化推理 pipeline。推荐系统中可将 LLM 编码的用户/物品表示直接读出 CTR 或评分，省去文本解码步骤。
• LoRA 适配低成本复用：仅训练 LoRA 参数和极轻量线性头（约 33K 参数），适合业务中快速利用不同预训练基座适应新任务，如点击率预估、兴趣强度预测。
• 保持输入分布，换输出接口：保留 VAE 编码器维持模型输入一致性，只替换目标侧解码，这对在原有推荐模型框架上嫁接新预测目标有参考意义——保持上游不变，只改下游头。

Other | 2026-07-08 | HF Daily | score 6/10

Dense PredictionDiTLoRAText-to-ImageReadoutFlux

TMP: Tree-structured Mixed-policy Pruning for Large-scale Image Generation and Editing

TMP：大规模图像生成与编辑的树结构混合剪枝框架

🧭 大规模图像生成模型的结构化剪枝与优化

Multimodal Model Department, Tencent

首个树结构混合策略剪枝框架，统一 MoE 和 DiT 架构，将 80B 混元图像压缩至 20B（75%），质量损失有限，实现单卡推理

📌 工作参考价值（4 点）

• 剪枝策略的混合设计思想可迁移至大规模推荐模型（如多专家用户点击率模型）的压缩：针对不同模块（专家层、注意力层）采用差异化剪枝策略，而非一刀切
• 工程上实现 80B→20B 后单卡（24GB）推理的优化经验（如 KV cache 裁剪、内存调度）对部署巨型推荐模型有直接参考价值
• 树结构搜索最优剪枝率的方法论可借鉴：在推荐系统召回 / 排序模型的剪枝中，自动搜索各层的压缩比，平衡精度与效率
• MoE 架构的剪枝方案（如专家丢弃、路由剪枝）为电商搜索广告中的多专家模型（如多目标专家网络）压缩提供新思路

Other | 2026-06-25 | cs.CV | score 7/10

structured pruningMoEDiTimage generationmodel compressionefficient inference

RiT: Vanilla Diffusion Transformers Suffice in Representation Space

RiT：普通扩散Transformer在表示空间即可胜任

🧭 生成模型 · 表示空间训练

Mila – Québec AI Institute · Université de Montréal · Utrecht University · Canada CIFAR AI Chair

利用DINOv2特征的优良统计特性，仅用普通DiT加x-prediction实现高效极速图像生成

📌 工作参考价值（4 点）

• 用语义表示替代像素空间做生成式推荐：预训练语义嵌入（如 DINOv2）的内在维度与像素相似，但有效秩更高、协方差条件更好，使扩散模型训练更稳定、采样更快。在推荐场景中，可将用户行为序列或物品的语义 embedding 作为扩散目标，替代原始 ID 或 VAE latents，降低建模难度。
• 维度感知噪声调度：不同特征维度可能包含不同层次的信息，RiT 对不同维度施加不同的噪声水平，避免各向同性噪声破坏低维结构。在生成序列或行为嵌入时，可对主要变化维度与噪声维度区别对待，提升生成质量。
• 联合 [CLS]-patch 建模：在序列生成中，类似地引入一个全局 token（如 user state）参与扩散过程，并与局部 patch（行为 sub-sequence）联合建模，可能比独立生成各步行为更连贯。
• 快速采样的工程优势：无需蒸馏或一致性训练，RiT 仅用 5~10 个 Heun 步骤即可达到高画质。这为在线推荐中实时生成候选集（如 top-N 物品）提供了可能，大幅降低推理延迟。

Multimodal | 2026-05-20 | HF Daily | score 7/10

diffusion modelsflow matchingrepresentation spaceDINOv2image generationDiT