MentalThink:在心理SVG世界中塑造思维
🧭 多模态视觉推理 · SVG中间表示
Beijing University of Posts and Telecommunications · University of Chinese Academy of Sciences · StepFun
让多模态大模型生成并执行SVG代码作为中间视觉表示,实现可验证的空间推理。
📌 工作参考价值(4 点)
- 商品空间关系理解:用 SVG 生成商品轮廓与布局,辅助多模态模型理解复杂场景(如家具搭配、服装层次),提升搜索与推荐的准确性。
- Agent 多步规划:借鉴“心理图像”机制,在 Agent 执行动作前生成场景 SVG 草图,用于自我反思和步骤优化,提高任务成功率。
- 广告创意迭代:利用 SVG 的可编辑性,快速生成和调整广告图片的空间构图,结合 RL 迭代精炼,降低人工设计成本。
- 训练范式复用:SFT 对齐结构化语法 + 多轮 RL 迭代修正是可迁移的通用训练策略,适合需要精确控制输出格式(如图形代码)的生成式推荐场景。
GenClaw:代码驱动的Agent式图像生成
🧭 Agent · 代码中介的可控图像生成 ★ 深度解读
Tencent Hunyuan · Sun Yat-sen University · Tsinghua University · The Chinese University of Hong Kong
提出代码驱动的Agent式图像生成范式,通过构思→草图→上色三层解耦,用可执行代码作为中间画布,大幅提升空间可控性与可解释性。
📌 工作参考价值(4 点)
- 代码驱动布局可迁移至商品图模板生成:电商场景中需要精确控制多个商品的位置、数量、文字信息(如促销标签),借鉴GenClaw用SVG/HTML构建结构化草图再渲染的思路,可将布局规划与纹理生成解耦,减少对象计数错误与属性绑定失败。
- 分层编辑机制降低局部修改对非目标区域的破坏:当需要修改主图中某一元素(如替换商品、移动logo)时,利用SAM分割后组织为JSONL图层,仅对目标层做编辑,可显著提升编辑一致性(文中PSNR从20以下提升到27.87),这对电商主图的迭代优化很有价值。
- 搜索增强认知层可弥补模型知识滞后:在生成含有最新赛事、节气、明星同款等时效性信息的商品图时,Agent主动搜索并结构化事实再写入代码画布,避免直接让生成模型凭空想象,提升文案准确性和知识可信度。
- 代码中介的物理/几何推理可用于商品场景模拟:当需要生成商品在特定环境下的摆放效果(如光照反射、堆叠结构)时,先通过Three.js等构建物理/几何草图作为约束,再交给渲染模型,能提升复杂空间关系的生成稳定性。