TransX: Scaling Transformer-based Recommendation via Behavioral and Serving Stream Crossings
TransX：通过行为与服务流交叉扩展Transformer推荐
🧭 工业推荐 · 序列建模 · 延迟优化 ★ 深度解读
用Encoder-Decoder解耦行为流和服务流，结合分组稀疏交叉注意力与近线缓存，在LinkedIn实现CTR+6.0%且在线计算降低80%
📌 工作参考价值（4 点）
- 将用户行为序列与候选服务流显式解耦，Encoder专注长期意图，Decoder通过Cross-Attention融合当前候选，避免将异质信号混在一个序列中，既保留因果结构又提升预测力。电商/广告场景中用户浏览、加购等行为与曝光上下文天然分离，可直接套用这种双流交叉架构。
- 近线行为编码 + 缓存策略：利用因果自注意力一次性编码用户全历史，生成行为表示并持久化，在线推理时只做轻量级候选编码和交叉注意力，延迟与行为序列长度无关。可借鉴到实时推荐场景，大幅降低成本。
- 分组多查询稀疏交叉注意力：所有候选共享行为序列的Key/Value，每个候选仅有独立Query，并引入局部最近行为窗口+全局锚点（pooling token）的稀疏模式，既能捕捉短期意图和长期偏好，又将复杂度从O(mL)降到O(mL_local)。高QPS下非常实用。
- 序列到序列的单次前向传播训练：利用行为前缀复用，训练成本从O(T L^2 d)降为O(L^2 d+T)，相比传统逐事件训练每epoch时间减少约50%。在大量用户历史场景下训练效率提升明显。