DREAM Technical Report
DREAM：工业推荐系统的智能体控制架构
🧭 智能体元控制 · 意图感知 · 闭环优化
Taobao
在推荐流水线上叠加感知与策略智能体层，通过意图引擎和元引擎实现可审计的自主优化
📌 工作参考价值
- 非侵入式智能体控制层：不替换现有召回/排序/重排模型，仅通过参数注入（如召回通道开关、配额、多样性权重）即可调度管道，适合已有复杂推荐系统的低成本改造。
- 三层意图表示与边云协同：L0（稳定画像）/L1（需求）/L2（偏好）的层级分离，配合设备端 GRU 触发和流量漏斗（仅约 8.7% 行为上云），可在电商搜索推荐中实现实时意图感知，同时控制推理成本。
- 分层推理与安全护栏：MetaModel 的 M1（意图总结）→M2（策略规划）→M3（参数翻译）流水线，结合枚举值约束和参数范围白名单，保证策略决策可审计、可拦截，可直接复用到广告或推荐策略调整。
- 奖励双循环的闭环自优化：离线仿真探索策略空间 + 在线真实反馈校准，形成“生成→执行→评估→沉淀”循环，无需人工调参，适合动态多目标的电商场景。
动机
工业推荐系统级联架构存在四大瓶颈：模块间信息割裂、多目标各自优化、策略依赖人工规则、缺乏实时意图感知，导致无法捕捉用户从浏览到购买的会话级意图变化。现有 LLM Agent 方案或只选物品，或只演架构，均未实现感知—决策—执行的端到端闭环。
方法
DREAM 在不改动原有召回/排序/重排管道的前提下，叠加一个感知型策略层，包含两大组件：
- 意图引擎：多源信号（显式行为、端侧隐式行为、环境）经设备端F1-F3漏斗（GRU变化点检测，仅约15%行为打包），云端F4恢复语义并二次准入，最终将上报量缩减至约8.7%。0.8B Main Agent实时输出三层意图（L0物理、L1需求、L2偏好），双路由将约6.3%复杂请求异步升级到4B专家，并通过自我蒸馏进化；夜间Dreaming机制用4B模型对全天轨迹进行合并、纠正、补充等六种操作，完成记忆巩固。
- 元引擎：基于Qwen3的MetaModel执行M1意图总结（生成策略偏向，如IPV优先或GMV优先）、M2策略规划（检索策略记忆中的有效经验）、M3参数翻译（映射到受枚举值约束和护栏保护的参数）。统一出口以“默认回退+个性化覆盖”方式注入下游场景。策略效果通过奖励双循环反馈：离线回路用模拟环境探索策略并打分，在线回路采集真实指标校准并存入策略记忆，驱动持续优化。
实验
在淘宝首页大规模A/B测试：仅控制重排，IPV +2.06%，Core IPV +2.39%，GMV +0.88%；叠加精排控制后，IPV +2.71%，Core IPV +3.06%，GMV +1.31%，PV提升均超1%。所有增益均不依赖模型替换，服务稳定性未受影响。
关键结论
在不推翻现有工业推荐基础设施的前提下，通过可感知、可编排的智能体层实现跨模块策略协同，是可行且高效的；增益随控制面扩大而叠加。