原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

Attention 机制详解

位置编码基础 RoPE 数学推导 RoPE 代码实现长度外推

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

分布式训练数据并行 ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

预训练数据 Tokenizer 训练模型架构数据流水线训练循环监控与验证

训练循环

会员专享

拆开 LightningCLI、PretrainModule、优化器和调度器

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

数据流水线

理解 Parquet shard 如何变成 input_ids、labels 和 attention_mask

监控与验证

使用 TensorBoard、SwanLab、采样文本和 checkpoint 跟踪预训练

目录

LightningCLI 是什么

Lightning 接管了什么

Validation step

WSD 学习率调度

常用覆盖参数