Memory as Plans: World-Action Modeling with Memory-Grounded Planning
记忆即计划:基于记忆接地规划的世界-动作建模
🧭 Agent 长程记忆与计划执行解耦
MaP-WAM 将长期记忆转化为稀疏视觉上下文与语言计划,由固定上下文执行器遵循,取得 RMBench 83.3% 成功率
📌 工作参考价值(4 点)
- 在需要长用户历史的推荐/Agent 场景,可借鉴“记忆即计划”:把长时间跨度的行为序列压缩为若干关键帧(或代表性 item 特征)+ 高层意图,供 planner 生成下一步计划,而非让 executor 每次都读全量历史。
- 计划与执行分离:规划器可以处理长历史并生成轻量计划,执行器只接收固定长度上下文和当前计划,结合 progress 预估实现自适应切换,在线推理延迟与历史长度解耦;结构化注意力支持 KV cache 可进一步降低重复规划成本。
- 对电商视觉/短视频推荐,如果任务依赖细粒度视觉证据,语言摘要会丢失信息,可保留用户最近强交互的视觉特征帧作为稀疏长期记忆,而不是仅存文本标签。
- 但这是机器人操作领域,所提 WAP 和进度对齐机制较复杂;直接迁移到推荐/广告需要简化:progress 可类比用户状态/会话阶段,可改造为 session 切分与 memory refresh 信号。