LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

X (Twitter)
系统工程

分布式训练

从数据并行到多维混合并行，理解大模型训练的核心并行策略

👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容，敬请期待！

反向传播实现

实现 Flash Attention 的梯度计算，通过 Recomputation 实现内存高效的训练。

数据并行

理解通信原语和 DDP 的梯度同步机制

目录

概述
章节内容
为什么需要学这些？
参考资料