ShopX: A Foundation Model for Intent-to-Item Fulfillment in Agentic Shopping
ShopX：面向智能购物意图到商品履行的基础模型
🧭 生成式推荐 · Semantic ID · 代理购物
Alibaba Taobao & Tmall Group
通过语义ID实现模型原生的商品空间操作，将意图理解、执行规划和物品执行统一于单个基础模型中，减少代理协调中的接口损失
📌 工作参考价值
- 模型原生商品履行：将检索、排序、捆绑等物品空间操作直接内建于 LLM，避免对外部推荐工具链的低带宽调用。可借鉴该架构，在电商助理场景中用模型原生语义 ID 生成替代工具编排，减少意图压缩损失，尤其适用于多轮交互和模糊需求。
- 语义 ID 设计原则：混合全局-局部 SID（G2+L4）将稳定生成路由与细粒度语义恢复分离，全局前缀用于 LLM 自回归生成，局部门用于属性、视觉等特征重建。在构建商品编码时，可借鉴等效商品监督（而非协同过滤）与软目标对比损失，确保 ID 可解释、可恢复，便于后续模型直接操作。
- 训练配方三阶段：SID 对齐（仅嵌入训练）→ 领域持续预训练（2:1 混合商场数据与通用复述数据）→ 多教师 OPD+RL 联合后训练。这种分阶段注入商品知识、保持指令遵循能力的方法，可在工业搜索推荐大模型中复用，避免牺牲通用语言能力。
- 评估体系：框架级评估（意图履行、个性化、约束满足等 8 维指标）与能力诊断（购物语义、上下文证据抽取、商品空间操作）相结合，可参考其构建方式，对内部 AI 购物助手进行多维离线和在线评估，特别关注跨轮反馈适应和引用解析。
动机：当前 AI 购物助手依赖 LLM 代理调用外部搜索推荐工具，导致丰富上下文被迫压缩为简短的 API 输入，多轮反馈时物品状态脱钩，造成严重的接口损失。生成式推荐虽通过语义 ID（SID）让模型直接生成物品，但现有方法仅用于候选生成，无法覆盖完整的意图到购物决策（检索、比较、捆绑、解释等）。需要一种统一的基础模型，将语言理解与商品空间操作无缝融合。
方法：
- 模型原生履行框架：ShopX 作为中央履行核心，定义 Plan、Execute、Fulfill、Update 四个动作槽，通过轻量化执行器（harness）提供上下文、目录和状态支持，模型自主规划并执行基于 SID 的物品空间操作（波束搜索检索、榜单排序、商品捆绑、种子扩展等）。
- 可恢复语义 ID 设计：采用混合全局-局部 SID（Global-Local Hybrid），全局部分用等效商品对比学习和同类别硬负样本训练，经残差量化（RQ）形成 2 层前缀，保证生成稳定性；局部分用 4 个 VQ 码本重建属性和视觉特征，保留细粒度语义。训练中抛弃协同过滤监督，改用等价商品软目标 InfoNCE，使编码更具语义可恢复性。
- 三阶段训练配方：1）SID 对齐（冻结骨干，仅训练新嵌入）；2）领域持续预训练（混合商场数据和一般复述数据，比例 2:1，共 113B tokens），注入目录知识、用户偏好理解和意图推理；3）多教师在线策略蒸馏+强化学习（MOPD+RL），用专用教师、自举教师和通用教师提供偏好，结合 rubric 奖励微调，保留指令遵循能力。
关键结果：
- 在基于淘宝匿名日志构造的 279 单轮、80 多轮任务上，ShopX 框架相比工具代理基线在意图履行、物品精度、个性化、约束满足等 8 维指标全面占优，尤其在模糊或复杂任务中优势更明显。
- 能力诊断显示，混合 SID 设计（G2+L4）在物品描述恢复、语义保持和模型可操作性上均优于全局-only SID。
- 消融实验证明，等效商品监督和软目标对比显著提升语义 ID 质量；领域 CPT 2:1 混合比可维持通用能力；联合 OPD+RL 后训练比纯 SFT 在跨轮交互中鲁棒性更强。
核心洞见：语义 ID 不仅是检索 token，更应成为模型原生物品语言，让 LLM 直接“说”商品，从而消除代理系统中的结构性界面损失。