原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

从 token ids 到 logits Embedding 与 LM Head

Attention 机制

Self-Attention 到 GQA Attention Sink

位置编码基础 RoPE 数学推导 RoPE 代码实现长度外推

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

分布式训练

数据并行 ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

预训练数据 Tokenizer 训练模型架构数据流水线训练循环监控与验证

系统工程FlashAttention

Causal Masking 优化

会员专享

为自回归模型实现因果注意力机制,通过跳过上三角计算实现 ~2x 加速。

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

Block Pointer 与多维支持

从单序列扩展到 Batch/Head 并行，并使用 Block Pointer 简化指针管理。

Grouped Query Attention

实现 GQA/MQA 支持,让多个 Query Head 共享 KV,优化 KV Cache 内存占用。

目录

Causal Attention 快速回顾

Causal Masking 的性能机会

计算量减半的数学原理

可视化：跳过的计算区域

代码实现解析

修改点1: 粗粒度跳过 — 循环边界优化

修改点2: 细粒度 Mask — Block内部的边界处理

两层 Mask 的必要性

性能对比与验证

数值正确性验证

不同序列长度的加速比

实现技巧总结

Triton 编译期常量的妙用