LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

X (Twitter)
系统工程分布式训练

全分片数据并行

会员专享

理解 FSDP 的 Intra-Tensor 分片与 All-Gather/Reduce-Scatter 通信模式

配套代码
👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容，敬请期待！

ZeRO 优化器

渐进式去冗余，从优化器状态到参数的三级分片

张量并行

Column Parallel 和 Row Parallel 的对称设计

目录

两种分片方式
参数分片
前向传播：All-Gather
反向传播：Reduce-Scatter
通信量对比
何时用 ZeRO-3，何时用 FSDP
总结