LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

X (Twitter)
系统工程FlashAttention

Grouped Query Attention

会员专享

实现 GQA/MQA 支持,让多个 Query Head 共享 KV,优化 KV Cache 内存占用。

配套代码

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

Causal Masking 优化

为自回归模型实现因果注意力机制,通过跳过上三角计算实现 ~2x 加速。

反向传播实现

实现 Flash Attention 的梯度计算，通过 Recomputation 实现内存高效的训练。

目录

GQA 快速回顾
PyTorch 标准实现的问题
Flash Attention 中的高效实现
核心思想:指针索引而非数据复制
具体例子:指针偏移的魔法
统一支持 MHA/GQA/MQA
完整实现
性能验证
数值正确性测试
性能基准测试
Autotune 的最佳配置
设计权衡与选择建议
质量 vs 内存的权衡
实现要点总结
总结