原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

从 token ids 到 logits Embedding 与 LM Head

Attention 机制

Self-Attention 到 GQA Attention Sink

位置编码基础 RoPE 数学推导 RoPE 代码实现长度外推

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

分布式训练

数据并行 ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

KV Cache Continuous Batching PagedAttention

动手训练

预训练数据 Tokenizer 训练模型架构数据流水线训练循环监控与验证

系统工程分布式训练

多维混合并行

会员专享

ParallelContext 坐标系统与 TP+DP+PP 的工业级组合

在权益中心获取代码

👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容，敬请期待！

流水线并行

GPipe 和 1F1B 调度策略的原理与气泡分析

推理优化

从 KV cache 到批处理调度，理解 LLM 推理为什么慢、怎么加速

目录

为什么要混合

ParallelContext：多维坐标系统

通信组的构建

2D 混合示例：TP + DP

3D 混合：TP + DP + PP