Where Position Matters: Profiling-Guided Layer-Wise RoPE Allocation in Transformers
位置至关重要：基于剖析指导的逐层 RoPE 分配
🧭 高效 Transformer 位置编码设计
用逐层剖析剖面在固定预算下分配 RoPE 维度，提升语言模型验证损失并支持 MLA 高效部署
📌 工作参考价值
- 在电商/广告场景中训练或微调 LLM 赋能的召回、query 改写、语义 ID 生成模型时，先用小规模代理模型对每一层做“移除/偏移 RoPE”的 Coverage/Phase-off 探查，提前得到各层位置信息需求剖面；然后按预算给高层/低层分配不同 rotary dimension，减少 RoPE 计算和缓存，不损失效果。
- 利用 normalized-depth mapping 把小型模型的逐层 RoPE 配置迁移到大模型，可在大模型正式预训练/继续训练前完成结构搜索，降低试错成本；对需要从零预训练轻量级领域 LLM 做推荐任务时尤其实用。
- 若采用 MLA / 多头潜在注意力做高效推理，可按层物理分配 rotary 维度，而不是所有层全维度旋转；按剖析结果把 rotary 集中在少数关键层，可获得质量、存储、计算之间的更好 trade-off，适合边端或高 QPS 推荐服务。
- 将 phase-off / coverage intervention 作为诊断工具纳入模型迭代流程，用于判断模型是否过度依赖某些层的位置信息，指导领域适配时冻结/裁剪/蒸馏策略。
动机
RoPE 在所有 Transformer 层通常使用均匀的 rotary dimension 覆盖，但不同层对位置信息的需求并不相同。Phase-off 干预显示旋转相位依赖是非均匀且模型特有的，Coverage 干预则表明增加覆盖带来的收益也因层而异。
方法关键点
作者通过 profiling 量化每层的 coverage-benefit 剖面，在固定 rotary 总预算下给不同层分配高低覆盖；框架支持固定宽度 Q/K 表示，也支持 MLA 中的物理 rotary 维度分配。使用 normalized-depth mapping 将小模型的剖面迁移到同家族大模型，使小模型测量能在预训练前指导大模型分配。简要分析表明选择与迁移关系到 score calibration 和层间交互。
关键结果
在从零预训练实验中，相较匹配预算的基线获得验证损失改善；解析性资源核算显示 MLA 物理分配在质量、存储、计算三者间取得更有利的权衡。