基础知识模型架构Attention 机制Attention Sink会员专享第一个 token 为什么吸走绝大部分注意力，这一现象的机制、代价，以及为何消除它要留到 Gated Attention配套代码登录以继续阅读这是一篇付费内容，请登录您的账户以访问完整内容。Self-Attention 到 GQA从 Self-Attention 出发，依次拆开 Multi-Head、Causal Masking 与 GQA / MQA 的设计权衡旋转位置编码从位置编码基础到 RoPE 的数学推导、代码实现与长度外推
CookLLM文档