Beyond Sequence Order: Syntax-Informed Positional Embeddings for Transformers
语法信息位置嵌入：超越序列顺序的Transformer增强
🧭 语法增强的位置编码
University of Arizona
将依赖解析语法先验按架构特性注入位置编码，大幅提升句法及语义理解，且推理成本极低
📌 工作参考价值（4 点）
- 序列推荐中若使用相对位置编码（如Transformer-XL），可将用户行为依赖关系（浏览→加购→购买）作为语法先验，与相对位置注意力分数相乘，强化行为结构信号。
- 对使用绝对/旋转位置编码的编码器，可把预计算的行为依赖嵌入直接加在输入嵌入上，简单组合原生位置机制，不改动模型主体。
- 推理时仅需单一依赖图（离线预先解析），无额外计算开销，适合线上实时推荐/Agent系统，避免多解析树集束搜索或边际化。
- 对话Agent的状态追踪可借鉴：将对话动作序列解析为依存树，生成语法感知的位置嵌入，增强长程对话理解，并可分别按encoder/decoder调整注入策略。