InterleaveThinker: Reinforcing Agentic Interleaved Generation
InterleaveThinker：多智能体增强交错图像生成
🧭 多智能体交错生成 · 强化学习 ★ 深度解读
CUHK MMLab · Meituan · CUHK IMIXR
首个解耦规划与评判的多智能体框架，让任意冻结图像生成器具备强交错生成能力，并解决视觉过依赖与误差累积。
📌 工作参考价值（4 点）
- 多步决策解耦范式：面对长程任务时，可借鉴 Planner-Critic 分离设计，让 Planner 一次性生成全局计划以屏蔽中间视觉反馈，避免“过依赖”导致的中途停滞或目标漂移，Critic 专注局部校正。该设计可直接迁移至多轮对话推荐、商品序列生成等场景。
- 双奖励单步RL降本增效：提出的 accuracy reward（判断准确度）和 step-wise reward（精炼前后质量差）将全轨迹 RL 简化为单步 RL，大幅降低训练成本，适合长工具调用链的 Agent 训练。在电商文案生成、多步商品图编辑等长序列任务中，可仿效此策略设计局部奖励信号，实现高效全局优化。
- 高质量训练数据构造流水线：通过类别树、实体库和模板生成多样化种子提示，再用强模型生成完整规划-执行-评判轨迹，最后用迭代评分过滤并分裂为 SFT/RL 数据。该方法可用于构建 multi-agent 的规划-反思训练集，尤其适合推荐系统智能体或交互式内容生成场景。
- 基于评分方差的数据划分策略：将迭代评分方差大的样本专用于 RL，使 Critic 学习精炼能力；方差小的样本用于 SFT 冷启动。这一技巧可直接复用到任何“建议-执行-评价”的强化学习训练数据准备中。