Long-History User Transformers for Real-Time Ad Ranking
用于实时广告排序的长历史用户Transformer
🧭 序列推荐 · 离线-在线分离架构
Yandex · Applied AI Institute
异步离线编码全量历史+轻量在线编码近期事件，在实时广告排序中恢复72–80%全历史模型质量，生产指标提升超2%
📌 工作参考价值
- 离线-在线分裂架构可迁移：对于用户长行为序列建模的延迟瓶颈，可借鉴“离线大模型编码全量历史生成固定向量并缓存，在线轻量模型仅处理最近事件”的模式，适用于电商搜索/推荐/广告的精排或重排阶段。
- 训练时模拟特征滞后：在训练中人为引入两天的数据截止，使模型适应生产环境中用户Embedding的更新延迟，能防止在线效果退化；电商特征存储同样存在更新延迟，可直接复用这一策略。
- 接收域设计与延迟权衡：在线编码器使用窗口注意力，总接收域 = 层数 × 窗口大小，通过调节层数和窗口宽能在质量和延迟之间做显式权衡；电商场景可按延迟预算配置在线序列长度。
- 多表面预训练 + 单表面微调：利用跨场景（搜索、推荐、广告）交互日志做自回归预训练（CTR预测+下一事件检索），再针对目标场景微调，能显著提升目标场景效果；电商多业务线（如首页推荐、搜索、促销页）可复用该迁移学习范式。
- 位置去偏技巧：训练时输入真实历史位置，推理时固定位置为1来预测位置无关CTR，可减少位置偏差，提升排序校准度；电商排序模型同样受位置偏差影响，可直接采用。
动机：在线广告CTR预测中，用户长交互历史蕴含丰富的兴趣信号，但广告拍卖要求毫秒级响应，直接运行大Transformer处理全量历史不可行。如何在实时延迟约束下有效利用长序列行为信息，是工业排序系统面临的核心矛盾。
方法关键点：
- 两阶段分裂架构：离线大Transformer（10层，8192 token因果注意力）异步编码用户全量交互历史，生成固定维度向量并缓存；在线轻量Transformer（5层，窗口注意力，接收域100）仅处理最近事件，两者拼接后进入双塔DCNv2预测CTR。
- 统一跨表面序列构建：将搜索广告、展示广告网络(YAN)、商品画廊及自然搜索/点击统一为时间线，广告事件用“context”和“banner+action”两token表示，降低30%序列长度。
- 双目标自回归预训练：在一年跨表面日志上，联合CTR预测和下一事件检索（采样softmax）目标，学习通用用户表征；微调时仅针对目标表面，加入有机点击事件并施加位置偏差纠正（推理时固定位置为1）。
- 训练时模拟缓存滞后：构造样本时仅用两天前的历史作为离线编码器输入，使模型适应生产环境中的更新延迟。
关键实验与结果：
- 离线分裂架构在桌面搜索广告上恢复全历史模型76%的质量（ΔNLL +12.3% vs +16.2%天花板），在YAN web inventory上恢复80%（+3.26% vs +4.09%）。
- 生产A/B测试：搜索广告主指标+2.77%，点击+2.87%，收入+2.26%；YAN主指标+2.1%，点击+2.59%，收入+0.43%，且在线延迟无增加。
- 缓存向量陈旧性影响轻微：5天延迟仅损失0.38点增益，但模型检查点陈旧6个月损失3.4点，提示模型迭代远比刷新频率重要。