Token Factory: Efficiently Integrating Diverse Signals into Large Recommendation Models
Token Factory：高效将异构信号融入大推荐模型
🧭 多模态特征压缩与 soft token 融合 ★ 深度解读
把传统稠密/稀疏特征压缩为 soft token，大幅缩短 prompt 并提升训练与推理效率，保持质量
📌 工作参考价值（4 点）
- 特征压缩到 soft token 以控制 prompt 长度：对于电商推荐中的用户行为序列（点击、加购、下单），每步行为可携带大量稠密特征（停留时长、转化率、价格等），用 MLP 或轻量 Transformer 将每个行为压缩为 1 个 soft token，整段历史压缩为固定数量 token（如 200 条历史 → 200 个 token），避免文本化导致的序列爆炸。
- 固定预算的 prompt 设计：为不同类别的特征（用户侧、候选商品侧、上下文）分别设计 Token Maker，各自输出固定数量的 soft token，保证 prompt 总长度确定，有利于显存规划和 prefix caching。用户侧 token 在一次请求内可复用，显著降低推理延迟。
- 序列压缩的两种工程方案：当历史行为极长（如数千条），可先用 MLP 直接沿序列维度降维（如 500 → 50），或使用基于注意力池化的 K 项合并策略（每 K 个行为合并为 1 个 token），在召回或粗排中节省计算，并已验证 AUC 仍有正向收益。
- 特征融合优于丢弃：实验表明，即使序列已被压缩，在 soft token 中融合更多的稠密/稀疏特征（如商品类目、价格档位）仍能提升 CTR 预估；在召回侧，融合充分特征的 soft token 使新视频的 Unique Impressions 提升 67%，说明压缩不意味着牺牲信息，而是用更好的嵌入空间保留信号。