分布式训练

从数据并行到多维混合并行，理解大模型训练的核心并行策略

概述

当模型大到单张 GPU 放不下时，我们需要把计算、内存和通信分摊到多块 GPU 上。这个系列从最简单的数据并行开始，逐步引入 ZeRO、FSDP、张量并行、流水线并行，最终理解它们如何组合成多维混合并行。

本系列假设你已掌握基本的 PyTorch 训练流程。对 GPU 硬件和内存层级感兴趣的读者，建议先学习 GPU 编程基础。