Context-weighted Discrete Flow Matching
上下文加权的离散流匹配
🧭 离散流匹配训练效率提升
University of Amsterdam · Meta FAIR
通过局部上下文密度重加权训练损失与采样过程，将文本生成困惑度降低最高63%。
📌 工作参考价值（4 点）
- 在生成推荐理由、广告文案、对话回复等文本时，不同位置的token预测难度差异大，可借鉴基于局部上下文密度的损失重加权，让模型聚焦高熵、低上下文密度的token，提升整体生成质量。
- 上下文加权采样器几乎无额外计算开销，适合在线服务；同时保留任意顺序生成能力，可用于交互式推荐场景中动态调整输出顺序。
- 对于语义ID生成、结构化描述生成等离散序列任务，可以事先估计上下文密度（例如用掩码语言模型得分），并在训练时对高难度位置加大梯度，减少训练集上易样本主导的偏置。
- 该方法在匹配半自回归块扩散基线质量的同时保持灵活性，提示我们在设计生成式推荐模型时，不一定要牺牲灵活性来换取效率，可以通过简单的上下文感知策略兼得。