原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

从 token ids 到 logits Embedding 与 LM Head

Attention 机制

Self-Attention 到 GQA Attention Sink

位置编码基础 RoPE 数学推导 RoPE 代码实现长度外推

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

分布式训练

数据并行 ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

KV Cache Continuous Batching PagedAttention

动手训练

预训练数据 Tokenizer 训练模型架构数据流水线训练循环监控与验证

基础知识模型架构位置编码

RoPE 数学推导

会员专享

从复数旋转到高维推广，理解旋转位置编码的核心数学原理

在权益中心获取代码

从需求出发

上一章我们提出了一个核心需求：希望 $Q_m$ 和的点积只取决于内容和相对位置：

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

K_n

m - n

\langle f(X_m, m), f(X_n, n) \rangle = g(X_m, X_n, m - n)

其中 $f$ 是我们要设计的位置编码函数，它接收 token 的内容向量和位置索引，输出带有位置信息的向量。

RoPE 的核心洞察是：用旋转来编码位置。我们先从最简单的 2D 情况开始理解。

位置编码基础

为什么 Transformer 需要位置信息，以及绝对位置编码的方案与局限

RoPE 代码实现

逆频率计算、cos/sin 缓存与 apply_rotary_pos_emb 的向量化实现

目录

从需求出发

2D 情况：复数视角

把向量看作复数

用旋转编码位置

展开为实数形式

推广到高维

旋转矩阵的高效实现

避免显式矩阵乘法

验证相对位置性质

与其他位置编码的对比

g

(

Xm

,

Xn

,

m

−

n)