LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

概述
预训练
预训练数据Tokenizer 训练模型架构数据流水线训练循环监控与验证
X (Twitter)
系统工程分布式训练

数据并行

会员专享

理解通信原语和 DDP 的梯度同步机制

配套代码

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

分布式训练

从数据并行到多维混合并行，理解大模型训练的核心并行策略

ZeRO 优化器

渐进式去冗余，从优化器状态到参数的三级分片

目录

单卡训练的内存组成
混合精度训练的内存需求
通信原语
Broadcast
All-Reduce
Reduce-Scatter
All-Gather
DataParallel：最朴素的多卡方案
DDP 的工作原理
Ring All-Reduce：高效的梯度同步
梯度同步机制
DDP 的局限
总结