基础知识模型架构
Transformer LM
从 token ids 到 next-token logits，建立 Decoder-only Transformer 的整体心智模型
概述
Transformer LM 系列回答一个具体问题：当我们调用 model(input_ids) 时，模型内部到底发生了什么？
这一系列先建立 Decoder-only Transformer 的整体前向传播，再拆解 embedding、LM head、decoder block、residual stream 等关键接口。Attention、RoPE、RMSNorm、SwiGLU 会在后续专题中展开，这里先把它们放回完整语言模型的数据流里。
章节内容
从 token ids 到 logits
理解 Decoder-only Transformer 的输入输出关系
Embedding 与 LM Head
理解 token ids 如何进入连续向量空间，以及 hidden states 如何投影回词表 logits
学习路径
| 阶段 | 内容 | 目标 |
|---|---|---|
| 整体 | 从 token ids 到 logits | 看清输入、输出、shape 和训练/推理分岔点 |
| 输入输出 | Embedding 与 LM Head | 理解 token ids 如何进入模型，hidden states 如何变成 logits |
参考资料
- Attention Is All You Need：Transformer 架构、残差连接和注意力机制的原始论文。
- Language Models are Unsupervised Multitask Learners：GPT-2 技术报告，展示 Decoder-only LM 的语言建模范式。
- LLaMA: Open and Efficient Foundation Language Models：参考现代 Decoder-only LM 的 RoPE、RMSNorm、SwiGLU 和 pre-norm 设计。
- Using the Output Embedding to Improve Language Models：系统讨论输入/输出 embedding tying 对语言模型的影响。
- Tying Word Vectors and Word Classifiers：从语言模型输出分类器角度分析 weight tying。