LogoCookLLM文档
LogoCookLLM文档
首页CookLLM - LLM 系统课程

核心课程

基础知识
GPU 编程基础
GPU 架构基础张量布局Triton 入门:向量加法
FlashAttention
并行策略
量化技术
激活检查点
CPU 卸载
推理优化
缩放定律
数据工程
对齐微调
系统工程GPU 编程基础

Triton 入门:向量加法

付费文章

通过一个简单的向量加法例子,学习 Triton 的基本编程模型。

配套代码
👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容,敬请期待!

张量布局

深入理解张量在内存中的物理布局,Strides,View 与 Reshape 的区别,以及梯度追踪机制。

FlashAttention:高效注意力机制

深入理解 FlashAttention 的原理与实现

目录

SPMD 编程模型
逐步构建 Kernel
第一步:定位自己
第二步:计算偏移量
第三步:处理边界
第四步:加载、计算、存储
完整 Kernel 代码
启动 Kernel
验证正确性