Embedding 与 LM Head

为什么输入输出层值得单独看？复制链接

Decoder-only Transformer 最重的计算发生在中间的 blocks 里，但语言模型的输入输出关系其实由两端决定：

$$\text{token ids} \xrightarrow{\text{embedding}} \text{hidden states} \xrightarrow{\text{LM Head}} \text{next-token logits}$$

如果这两端没有看清楚，后面很多问题都会混在一起：为什么输入是整数、为什么输出不是 token id、为什么 loss 需要 shift targets、为什么词表大小会显著影响参数量，甚至为什么有些模型会共享输入 embedding 和输出 LM Head 的权重。

本章主线只讲输入输出两端：Embedding 和 LM Head。