CARVE: Content-Aware Recurrent with Value Efficiency for Chunk-Parallel Linear Attention
内容感知值高效递归模型：面向块并行线性注意力
🧭 高效递归架构 · 线性注意力
通过key轴门控、输出重用与标量值门，一次性消除GDN-2内存盲、参数浪费与块并行不兼容三大缺陷。
📌 工作参考价值（4 点）
- 在用户行为序列建模中，可借鉴key轴门控设计，避免值轴参数膨胀和内存盲，提升长序列训练吞吐。
- 利用已计算的输出张量作为内容信号（输出重用），无需额外读取状态矩阵，降低显存带宽压力，适合大规模序列模型。
- 标量值写门将每头写门投影压缩为单个标量，显著减少参数量（19%），可迁移至推荐模型的序列编码器以提升参数效率。
- WY-form块并行求解器的恢复使递归模型训练效率可比拟Transformer，可尝试引入在线/离线排序模型的序列特征提取中，加速训练。