LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门:向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

X (Twitter)
系统工程分布式训练

多维混合并行

会员专享

ParallelContext 坐标系统与 TP+DP+PP 的工业级组合

配套代码
👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容,敬请期待!

流水线并行

GPipe 和 1F1B 调度策略的原理与气泡分析

目录

为什么要混合
ParallelContext:多维坐标系统
通信组的构建
2D 混合示例:TP + DP
3D 混合:TP + DP + PP
配置建议
总结