LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

X (Twitter)
系统工程FlashAttention

从朴素实现到 Auto-Tuning

会员专享

编写第一个 Flash Attention Kernel，并利用 Auto-Tune 进行性能优化。

配套代码

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

Flash Attention 原理详解

通过交互式可视化，深入理解 Flash Attention 的核心技术：内存瓶颈、Online Softmax、与分块矩阵乘法。

Block Pointer 与多维支持

从单序列扩展到 Batch/Head 并行，并使用 Block Pointer 简化指针管理。

目录

核心循环结构
理解 tl.constexpr 的必要性
理解指针运算 (Pointer Arithmetic)
互动指南
验证数值正确性
使用 Auto-Tuning 寻找最佳配置
引入 @triton.autotune
流水线并行 (Pipeline Parallelism)
关键参数解析
总结