LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门:向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

概述
准备工作环境搭建数据准备Tokenizer 训练
X (Twitter)
准备工作

Tokenizer 训练

使用 RustBPE 训练 BPE tokenizer,并导出 tiktoken 编码

👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容,敬请期待!

数据准备

下载 Fineweb-Edu-Chinese 数据,理解 Parquet 存储和数据检查流程

目录

1. 输入和输出
2. 训练命令
3. 训练流程
4. 预分词规则
5. 特殊 token
6. 训练后的检查
7. 词表大小怎么选
8. 和训练配置的关系
延伸阅读