LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Transformer LM
从 token ids 到 logitsEmbedding 与 LM Head
Attention 机制
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

概述
预训练
预训练数据Tokenizer 训练模型架构数据流水线训练循环监控与验证
X (Twitter)
基础知识模型架构Transformer LM

从 token ids 到 logits

会员专享

理解 Decoder-only Transformer 如何把 token ids 变成 next-token logits

登录以继续阅读

这是一篇付费内容，请登录您的账户以访问完整内容。

Transformer LM

从 token ids 到 next-token logits，建立 Decoder-only Transformer 的整体心智模型

Embedding 与 LM Head

理解 token ids 如何进入连续向量空间，以及 hidden states 如何投影回词表 logits

目录

从 token ids 开始
为什么每个位置都有一组 logits？
一次 forward pass 经过哪些形状？
中间为什么一直保持 [B,T,D][B,T,D][B,T,D]？
训练和生成在哪里分开？
总结
参考资料