原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

Attention 机制详解

Engram 原理详解从零实现 Engram 与 Transformer 集成

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

动手训练

基础知识模型架构

Engram

深入理解 DeepSeek 的 N-gram 记忆模块

👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容，敬请期待！

Attention 机制详解

深入理解 Transformer 中的 Attention 机制，包括 MHA、Causal Attention、GQA 和 MQA。

Engram 原理详解

从 Attention 的局限性出发，理解 N-gram 哈希编码与门控融合机制

目录

为什么需要学这些？