原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

Attention 机制详解

位置编码基础 RoPE 数学推导 RoPE 代码实现长度外推

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

分布式训练数据并行 ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

准备工作环境搭建数据准备 Tokenizer 训练

准备工作

数据准备

下载 Fineweb-Edu-Chinese 数据，理解 Parquet 存储和数据检查流程

👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容，敬请期待！

环境搭建

使用 uv 安装 cookllm-bento 依赖，并检查 GPU 与配置文件

Tokenizer 训练

使用 RustBPE 训练 BPE tokenizer，并导出 tiktoken 编码

目录

1. 数据目录

2. 使用下载脚本

3. 目录结构

4. Parquet 格式

5. 数据检查

6. 从原始数据重新采样