PlanningBench: Generating Scalable and Verifiable Planning Data for Evaluating and Training Large Language Models
PlanningBench：面向LLM的可扩展、可验证规划数据生成框架
🧭 生成式规划数据 · 可控难度与自动验证 ★ 深度解读
Renmin University of China · Tencent Hunyuan Team · Beijing Academy of Artificial Intelligence · The Chinese University of Hong Kong
从真实场景抽象出任务-约束分类，通过闭环合成生成可验证规划数据，兼顾评估与强化学习训练
📌 工作参考价值（4 点）
- 可控数据生成范式：约束驱动合成 pipeline 从真实场景抽象任务-约束分类，可迁移至电商复杂任务（如物流调度、大促排期、库存分配）的规划数据生成，突破固定基准的限制。
- 可验证奖励设计：每个实例绑定自动验证清单，同时检查约束满足与目标优化，可作为强化学习 reward，保证 Agent 在长序列决策中保持全局一致性。
- 奖励确定性至关重要：偏好确定最优解，避免多个可行解导致奖励信号分散；在训练多目标协调的 Agent 时，应优先构造明确的最优指标以稳定训练。
- 难度自适应分级：按约束层级（基础/中等/困难）和状态化约束分档，通过动态调整采样概率实现难度递增，适合生成难度可控的训练集。