How Data Shapes RoPE Frequency Usage: From Positional Scale Matching to Length Generalization
数据如何塑造RoPE频率使用：从位置尺度匹配到长度泛化
🧭 位置编码的频率选择与数据分布匹配
MIT IDSS · IIIS, Tsinghua University
揭示学习到的RoPE频率与训练数据依赖宽度匹配的机制，并基于此解释长度外推的条件
📌 工作参考价值（3 点）
- 在用户行为序列建模中使用 RoPE 时，训练数据中的典型依赖长度（如会话内行为链长度）决定了模型习得的频率分布；若需外推到更长的用户历史，可通过降低所有频率（如 factor < 1 的缩放）来扩大有效视野，前提是长序列上的依赖模式与训练时近似自相似。
- 为序列推荐设计位置编码时，可先估计数据中依赖关系的有效宽度（如行为衰减的半衰期），据此初始化 RoPE 基频或频率范围，使模型容量更匹配数据结构，避免频率浪费。
- 频率缩放方法可类比于对用户行为序列进行多尺度时间聚合：不同频率对应不同分辨率的时间窗口，当需要处理跨场景的长短周期依赖时，可动态调整频率以平衡视野与分辨率。