从朴素实现到 Auto-Tuning

我们在上一章推导出了 Flash Attention 的数学公式（Tiling + Online Softmax）。现在，是时候把数学变成代码了。

核心循环结构

从公式到 Kernel，中间隔着三个必须先想清楚的问题。

第一，两层循环谁并行、谁串行。 上一章的推导写成了 "Outer Q, Inner K"：外层遍历 $Q$ 的分块，内层遍历 $K, V$ 的分块。但在 Triton 里你不会看到外层循环，因为它被 SPMD 模型隐式并行化了：每个 Program 认领一个 块， 就是它的编号。真正写成 的只有内循环。这一点如果没建立起来，读 Kernel 时会一直找不到外层循环在哪。