原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

从 token ids 到 logits Embedding 与 LM Head

Attention 机制

Self-Attention 到 GQA Attention Sink

位置编码基础 RoPE 数学推导 RoPE 代码实现长度外推

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

分布式训练

数据并行 ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

预训练数据 Tokenizer 训练模型架构数据流水线训练循环监控与验证

基础知识词元化

GPT 系列 Tokenizer

会员专享

GPT-2/GPT-4 的 Tokenization 方案，Regex 预处理与 tiktoken 库

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

BPE 算法详解

深入 Byte Pair Encoding 原理，手动实现训练、编码和解码

BPE 训练工程化

从玩具数据到真实语料：内存优化、并行预分词、增量更新与时间-空间权衡

目录

GPT-2 的 Tokenization 方案

朴素 BPE 的问题

Regex 预处理的解决方案

交互式演示：BPE 训练流程

GPT-4 的改进

词汇表大小对比

使用 tiktoken 库

安装和基本使用

对比不同 Tokenizer

查看 Token 的字节表示

常见特殊 Token

处理特殊 Token

Token 计数与成本估算