VGB for Masked Diffusion Model: Efficient Test-time Scaling for Reward Satisfaction and Sample Editing
掩码扩散模型的奖励引导重掩码采样：高效测试时缩放与样本编辑
🧭 离散扩散模型推理缩放·奖励引导采样
Georgia Tech · UCSD
将回溯马尔可夫链扩展到掩码扩散模型，通过奖励引导的unmask/remask实现二次复杂度的推理时优化，理论上优于best-of-N
📌 工作参考价值（4 点）
- 将奖励引导的重掩码迁移到广告文案、搜索词等序列生成任务中，利用可微分的过程奖励信号对生成样本进行局部编辑，避免全量重新生成，降低推理成本。
- 在电商推荐Agent的决策序列生成中，可将业务指标（点击率、转化率）转化为奖励，通过MDM-VGB在线修复低质决策路径，提升推荐效果。
- 理论上的二次复杂度保证，相比best-of-N采样能有效防止错误累积，适合高吞吐在线推理场景，工程实现可参考其unmask/remask动作选择逻辑。
- 若生成任务存在硬约束（如query必须包含关键词、长度限制），可将约束作为可验证奖励，借鉴该方法在测试时生成满足约束的候选，无需重新训练模型。