Principles

Tokenization Basics BPE Algorithm GPT Tokenizers BPE Training Engineering

Model Architecture

Attention Mechanisms

Position Encoding

Position Encoding Basics RoPE Math Derivation RoPE Implementation Length Extrapolation

GPU Programming Basics

GPU Architecture Basics Tensor Layout Triton Basics: Vector Add

Flash Attention Principles From Naive to Auto-Tuning Block Pointers and Multi-Dim Support Causal Masking Optimization Grouped Query Attention Backward Pass

Hands-on Training

Embedding 与 LM Head

Premium

理解 token ids 如何进入连续向量空间，以及 hidden states 如何投影回词表 logits

Log in to continue reading

This is premium content. Please log in to access the full article.

Table of Contents

为什么输入输出层值得单独看？

按 token id 查表

训练后的 embedding 学到了什么？

加新的 special token：padded 槽位的妙用

SFT 把 embedding 改了什么

从 special token 读 SFT 重点

从普通 BPE token 读 SFT 内容

拼出来的 SFT 配方

几何视角：为什么形状一样不是巧合

代码里就是一行赋值

代价：tying 不是免费的

LoRA包装一层之后，tying 还成立吗