BrickBench: Evaluating Agentic Brick Design
BrickBench：评估智能体乐高设计能力的基准
🧭 Agent 设计评估基准
Stanford University · Max Planck Institute for Intelligent Systems · Inria
提出 BrickBench 基准与环境，评估编码 Agent 在文本条件 LEGO 设计中的物理与语义满足度
📌 工作参考价值（3 点）
- 评估复杂约束生成任务时，可拆分 validity/alignment/design 三指标，对应推荐系统中的可执行性/相关性/体验质量，便于定位 Agent 短板。
- BrickAgent 的“编码-执行-检查-修订”循环是评估推荐 Agent 的可借鉴范式：给 Agent 提供可调用的库存查询、规则校验、模拟器接口，而非仅做文本输出。
- 三种约束设置（不同零件库规模与可用性）提示在推荐场景中应测试 Agent 在不同库存、预算或商品池约束下的泛化能力。