Log-Depth Recurrent Language Modeling
对数深度循环语言建模
🧭 对数深度循环架构替代 Transformer
Imperial College London
扩展平衡树递归算子至自回归预测，实现对数深度与线性复杂度的语言建模，长度外推稳健
📌 工作参考价值（4 点）
- 用户长期行为序列建模可借鉴：电商/广告场景中用户历史长度大，Transformer 二次注意力成本高；对数深度递归算子提供线性复杂度且并行训练，适合作为长序列编码器候选。
- 所有前缀表示可高效计算：推荐系统常用用户历史前缀做序列预测，该方法避免逐位置重复计算，适合 next-item/next-query 训练效率优化。
- 长度外推稳健：线上序列长度波动大，位置编码失效常见；可考虑引入树结构或对数深度归纳偏置，缓解长度外推问题。
- 该工作目前性能仅接近 ALiBi Transformer，仍属初步研究，落地需在业务序列模型上验证收益，不宜直接替换。