系统工程

Flash Attention

深入理解 Flash Attention 的原理与 Triton 实现

概述

Flash Attention 是一种高效的注意力机制实现，通过 Tiling（分块计算）和 Online Softmax 技术，将内存读写复杂度从 $O(N^2)$ 降低到 $O(N)$ ，显著提升了 Transformer 模型的训练和推理速度。

本系列假设你已掌握 GPU 编程基础。如果对 SIMT、Shared Memory 等概念不熟悉，建议先学习 GPU 编程基础。

系统工程

深入理解 Flash Attention 的原理与 Triton 实现

本系列假设你已掌握 GPU 编程基础。如果对 SIMT、Shared Memory 等概念不熟悉，建议先学习 GPU 编程基础。

你想做的事	需要的知识
理解为什么标准 Attention 慢	HBM vs SRAM、IO-bound 概念
实现自己的 Attention Kernel	Online Softmax、Tiling
优化 Kernel 性能	Autotune、Pipeline、Block Pointer
支持长序列推理	理解 $O(N^2) \to O(N)$ 的内存优化