LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Transformer LM
从 token ids 到 logitsEmbedding 与 LM Head
Attention 机制
Self-Attention 到 GQAAttention Sink
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门：向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行
推理优化
KV CacheContinuous BatchingPagedAttention

动手训练

概述
预训练
预训练数据Tokenizer 训练模型架构数据流水线训练循环监控与验证
X (Twitter)

概述

cookllm-bento 训练框架介绍

👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容，敬请期待！

PagedAttention

按最大长度预留连续显存只用上了两三成，用操作系统的分页思路把利用率做到 96%

预训练

从样本数据开始，完成 29M BentoLM 的完整预训练闭环

目录

技术栈
运行环境
云算力选择
代码结构
快速开始
保持更新
章节导航