原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

从 token ids 到 logits Embedding 与 LM Head

Attention 机制

Self-Attention 到 GQA Attention Sink

位置编码基础 RoPE 数学推导 RoPE 代码实现长度外推

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

分布式训练

数据并行 ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

预训练数据 Tokenizer 训练模型架构数据流水线训练循环监控与验证

基础知识模型架构位置编码

RoPE 代码实现

会员专享

逆频率计算、cos/sin 缓存与 apply_rotary_pos_emb 的向量化实现

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

RoPE 数学推导

从复数旋转到高维推广，理解旋转位置编码的核心数学原理

长度外推

NTK-aware Scaling、YaRN 等方法让 RoPE 模型处理超长序列

目录

逆频率预计算

两种实现风格

Interleaved 风格（原始论文）

维度配对与旋转矩阵

逐对循环实现

复数乘法向量化

Split-halves 风格（HuggingFace Transformers）

维度配对与旋转矩阵

rotate_half 向量化

向量化的 apply_rotary_pos_emb

两种风格的等价性

完整的 RoPE 模块

在 Attention 中集成 RoPE

与 KV Cache 的配合