Ask Self, Ask Others: Relation Is All You Need
自问问他：关系即所需——替代注意力的 token 混合新范式
🧭 替代 Attention 的 token-mixing 基础架构 ★ 深度解读
City University of Hong Kong · Jilin University · National University of Singapore
提出 Self-Exchange Relation 算子，将 token 混合拆成先建关系再分配信息流，在 10M/30M/100M 语言模型上 NLL 全面优于 MHA
📌 工作参考价值（4 点）
- 可借鉴显式 Self/Exchange 分解：在用户行为序列建模（如点击序列、曝光序列）中，可把 token 混合拆成 Self（自身历史/当前意图）和 Exchange（与其他 item 的关系）两阶段，先构造关系再归一化，可能更利于可解释和稀疏控制。
- FlashRelation 的 tile 化扫描 + 只缓存 P2 和 I 两个投影状态，相比标准 KV cache 省去 query 缓存；线上低延迟场景可尝试类似“只存必要投影”的缓存设计。
- Linear Relation 将历史压缩成 d_h×d_h 矩阵状态，75% 线性层 + 25% 全 Relation 层混合在 30M 尺度 NLL 仅 1.278，说明线上长序列低延迟场景可用大部分线性层加少量 full 层，平衡效率与效果。
- 注意这些结果均在 100M 参数以下语言模型，业务迁移需先在自有推荐序列模型中小规模验证；但将“关系构建”与“信息流分配”解耦的思路可迁移到 attention 变体或 GNN 消息传递中。