LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

X (Twitter)
基础知识

Architecture（模型架构）

深入理解大语言模型的架构设计

概述

Architecture 模块深入探讨大语言模型的核心架构组件，从基础的 Attention 机制到前沿的记忆增强模块。

本模块假设你已掌握深度学习基础知识。建议先学习 Attention 机制，再探索高级架构。

章节内容

Attention 机制详解

深入理解 Transformer 中的 Attention 机制，包括 MHA、Causal Attention、GQA 和 MQA

位置编码与 RoPE

从 Sinusoidal PE 到旋转位置编码，理解 RoPE 的数学原理、代码实现与长度外推

学习路径

阶段内容目标
核心Attention 机制掌握 Self-Attention、Multi-Head、Causal Masking
核心位置编码与 RoPE理解位置编码的演进，掌握 RoPE 原理与实现
优化GQA/MQA理解 KV Cache 优化与内存效率
进阶长度外推掌握 NTK-aware、YaRN 等长序列处理方法

参考资料

  • Attention Is All You Need
  • RoFormer: Enhanced Transformer with Rotary Position Embedding
  • YaRN: Efficient Context Window Extension of Large Language Models
  • GQA: Training Generalized Multi-Query Transformer
  • Fast Transformer Decoding: One Write-Head is All You Need

BPE 训练工程化

从玩具数据到真实语料：内存优化、并行预分词、增量更新与时间-空间权衡

Attention 机制详解

深入理解 Transformer 中的 Attention 机制，包括 MHA、Causal Attention、GQA 和 MQA。

目录

概述
章节内容
学习路径
参考资料