LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Transformer LM
从 token ids 到 logitsEmbedding 与 LM Head
Attention 机制
Self-Attention 到 GQAAttention Sink
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

概述
预训练
预训练数据Tokenizer 训练模型架构数据流水线训练循环监控与验证
X (Twitter)
基础知识

Architecture（模型架构）

从 Transformer LM 主干到 Attention、RoPE 与现代组件，理解语言模型架构

概述

Architecture 模块从完整的 Decoder-only Transformer LM 出发，逐步拆解 Attention、RoPE、Normalization、MLP 和 residual stream 等核心组件。

建议先阅读 Transformer LM 总览，建立 token ids 到 next-token logits 的整体数据流，再进入 Attention 和 RoPE 等专题。

章节内容

Transformer LM

从 token ids 到 next-token logits，建立 Decoder-only Transformer 的前向传播心智模型

Attention 机制

MHA、Causal Attention、GQA / MQA,以及 Gated Attention 的设计与演进

位置编码与 RoPE

从 Sinusoidal PE 到旋转位置编码，理解 RoPE 的数学原理、代码实现与长度外推

学习路径

阶段内容目标
整体Transformer LM掌握输入输出契约、shape 变化和 forward pass
核心Attention 机制掌握 Self-Attention、Multi-Head、Causal Masking
核心位置编码与 RoPE理解位置编码的演进，掌握 RoPE 原理与实现
优化GQA/MQA理解 KV Cache 优化与内存效率
进阶长度外推掌握 NTK-aware、YaRN 等长序列处理方法

参考资料

  • CS336 Assignment 1
  • Attention Is All You Need
  • RoFormer: Enhanced Transformer with Rotary Position Embedding
  • YaRN: Efficient Context Window Extension of Large Language Models
  • GQA: Training Generalized Multi-Query Transformer
  • Fast Transformer Decoding: One Write-Head is All You Need

BPE 训练工程化

从玩具数据到真实语料：内存优化、并行预分词、增量更新与时间-空间权衡

Transformer LM

从 token ids 到 next-token logits，建立 Decoder-only Transformer 的整体心智模型

目录

概述
章节内容
学习路径
参考资料