NTK-aware Scaling、YaRN 等方法让 RoPE 模型处理超长序列
在权益中心获取代码假设模型在 max_seq_len = 4096 上训练。当推理时输入长度为 8192，会发生什么？
一个常见的直觉是"位置编号超出了训练范围，所以 OOD 了"。但这个说法不够精确，位置编号跟位置嵌入不是一回事。位置编号 是无界的，但 RoPE 的位置嵌入是三角函数组成的，有界。跟模型直接打交道的是位置嵌入，不是位置编号。所以要真正理解 OOD，我们需要从位置嵌入的角度来分析。
这是一篇付费内容，请登录您的账户以访问完整内容。
回顾上一章的内积公式，加了 RoPE 之后的 Q/K 内积可以用复数表示为：
关键在 这一项。从欧拉公式 可以知道，它就是。当相对距离 逐渐变大时，这个点在单位圆上转圈， 越大转得越快， 越小转得越慢。
这就是"转圈视角"的核心：位置编号 是否 OOD 根本不重要，重要的是单位圆上的点是否被充分训练过。
假设训练长度为 ，那么 。对于每个维度 ，我们可以算出训练期间转了多少圈：
用具体数值来感受一下（，，）：
CookLLM文档# 最高频维度 (i=0): θ₀ = 1.0
# 圈数: 1.0 × 4096 / (2π) ≈ 651 圈 → 圆上全覆盖，安全
# 最低频维度 (i=63): θ₆₃ ≈ 0.00011
# 圈数: 0.00011 × 4096 / (2π) ≈ 0.07 圈 → 只走了一小段弧，OOD 风险极高问题的本质不是"旋转角度太大"，而是低频维度在单位圆上的覆盖不足。高频维度转了几百圈，反而是最安全的。
有了这个视角，解决思路就很清晰了：
这正是后面各种方法的核心思想。区别只在于"怎么压缩"和"压缩多少"。