Architecture（模型架构）

从 Transformer LM 主干到 Attention、RoPE 与现代组件，理解语言模型架构

概述

Architecture 模块从完整的 Decoder-only Transformer LM 出发，逐步拆解 Attention、RoPE、Normalization、MLP 和 residual stream 等核心组件。

建议先阅读 Transformer LM 总览，建立 token ids 到 next-token logits 的整体数据流，再进入 Attention 和 RoPE 等专题。

从 token ids 到 next-token logits，建立 Decoder-only Transformer 的前向传播心智模型

MHA、Causal Attention、GQA / MQA,以及 Gated Attention 的设计与演进

从 Sinusoidal PE 到旋转位置编码，理解 RoPE 的数学原理、代码实现与长度外推

阶段	内容	目标
整体	Transformer LM	掌握输入输出契约、shape 变化和 forward pass
核心	Attention 机制	掌握 Self-Attention、Multi-Head、Causal Masking
核心	位置编码与 RoPE	理解位置编码的演进，掌握 RoPE 原理与实现
优化	GQA/MQA	理解 KV Cache 优化与内存效率
进阶	长度外推	掌握 NTK-aware、YaRN 等长序列处理方法