原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

Attention 机制详解

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

动手训练

基础知识模型架构

Attention 机制详解

会员专享

深入理解 Transformer 中的 Attention 机制，包括 MHA、Causal Attention、GQA 和 MQA。

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

Architecture（模型架构）

深入理解大语言模型的架构设计

Engram

深入理解 DeepSeek 的 N-gram 记忆模块

目录

什么是 Attention 机制

标准 Self-Attention 计算流程

PyTorch 参考实现

Multi-Head Attention (MHA)

为什么需要多头？

MHA 的优势与挑战

Causal Attention（因果注意力）

什么是 Causal Attention？

为什么需要 Causal Masking？

Causal Masking 的性能机会

Grouped Query Attention (GQA)

从 MHA 到 GQA 的演进

MHA 的内存问题

Multi-Query Attention (MQA)

Grouped Query Attention (GQA)

GQA 的数学原理

三种机制的对比