UniDot: A Unified Network for Sequence Modeling and Feature Interaction in Large-scale Recommendation
UniDot：统一序列建模与特征交互的大规模推荐架构
🧭 统一序列建模与特征交互架构 ★ 深度解读
Meta
以点积为统一原语，用双总线并行堆叠块融合序列与特征交互，获 KDD Cup 2026 工业赛道亚军
📌 工作参考价值（4 点）
- 显式保留 FM 级点积交互：在深层残差网络旁路增加一个 FM Highway，把每层 token 点积、Gram 矩阵、跨总线 user-item 点积直接 concat 送进分类器，消融显示去掉后 AUC 掉 0.127%，成本极低。现有 DeepFM/DCN 等模型可以借鉴：不要把所有低阶信号都交给深层网络隐式学习，显式旁路对 CTR/CVR 任务性价比很高。
- 多路径互学习（DML）：两条相同结构、共享稀疏 embedding 表的路径互相蒸馏，推理时可以只用单路径（1× 成本），但训练时多路径正则化能把单路径模型拉到更好最优解。论文中单路径就能拿亚军，适合需要严格控制线上推理成本的场景。
- 序列编码一次、多处共享：行为序列 embed 一次，同时供 cross-attention、池化等多个消费者使用，避免重复编码。多域行为按时间戳 merge 成一条流，再与原始 domain 并行，能捕捉跨域时序模式。这个工程实现可显著降低推荐系统序列侧的推理延迟。
- 冷重启 embedding 对抗时间漂移：每个 epoch 后把高基数 embedding 表重新初始化，dense 参数保留，让 embedding 每轮重新学习，适配广告推荐中训练/测试时间差小的场景。对于电商大促、广告新广告位等快速变化场景有参考价值。