LogoCookLLM文档
LogoCookLLM文档
首页CookLLM

原理精讲

词元化
Tokenization 基础BPE 算法详解GPT 系列 TokenizerBPE 训练工程化
模型架构
Attention 机制详解
位置编码
位置编码基础RoPE 数学推导RoPE 代码实现长度外推
GPU 编程基础
GPU 架构基础张量布局Triton 入门:向量加法
FlashAttention
Flash Attention 原理详解从朴素实现到 Auto-TuningBlock Pointer 与多维支持Causal Masking 优化Grouped Query Attention反向传播实现
分布式训练
数据并行ZeRO 优化器全分片数据并行张量并行流水线并行多维混合并行

动手训练

X (Twitter)
基础知识模型架构位置编码

长度外推

会员专享

NTK-aware Scaling、YaRN 等方法让 RoPE 模型处理超长序列

配套代码

登录以继续阅读

这是一篇付费内容,请登录您的账户以访问完整内容。

RoPE 代码实现

逆频率计算、cos/sin 缓存与 apply_rotary_pos_emb 的向量化实现

GPU 编程基础

入门 CUDA 与 Triton,写出高效的 GPU Kernel

目录

转圈视角:理解长度外推
单位圆上的转圈
高频 vs 低频:覆盖度的差异
从转圈到解法
Position Interpolation(位置插值)
NTK-aware Scaling
核心思想
推导
实现
NTK-aware 的优势
Dynamic NTK
YaRN
动机
YaRN 的三个组件
1. NTK-by-parts(分段插值)
2. Attention 缩放
YaRN 的效果
各方法对比总结
总结