原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

从 token ids 到 logits Embedding 与 LM Head

Attention 机制

位置编码基础 RoPE 数学推导 RoPE 代码实现长度外推

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

分布式训练

数据并行 ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

预训练数据 Tokenizer 训练模型架构数据流水线训练循环监控与验证

基础知识模型架构 Transformer LM

Embedding 与 LM Head

会员专享

理解 token ids 如何进入连续向量空间，以及 hidden states 如何投影回词表 logits

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

从 token ids 到 logits

理解 Decoder-only Transformer 如何把 token ids 变成 next-token logits

Attention 机制

深入理解 Transformer 中的 Attention 机制，包括 MHA、Causal Attention、GQA 和 MQA。

目录

为什么输入输出层值得单独看？

按 token id 查表

训练后的 embedding 学到了什么？

加新的 special token：padded 槽位的妙用

SFT 把 embedding 改了什么

从 special token 读 SFT 重点

从普通 BPE token 读 SFT 内容

拼出来的 SFT 配方

几何视角：为什么形状一样不是巧合

代码里就是一行赋值

代价：tying 不是免费的

LoRA包装一层之后，tying 还成立吗