原理精讲

Tokenization 基础 BPE 算法详解 GPT 系列 Tokenizer BPE 训练工程化

Attention 机制详解

Engram 原理详解从零实现 Engram 与 Transformer 集成

GPU 编程基础

GPU 架构基础张量布局 Triton 入门：向量加法

Flash Attention 原理详解从朴素实现到 Auto-Tuning Block Pointer 与多维支持 Causal Masking 优化 Grouped Query Attention 反向传播实现

动手训练

基础知识模型架构 Engram

Engram 原理详解

会员专享

从 Attention 的局限性出发，理解 N-gram 哈希编码与门控融合机制

👨‍🍳

内容正在烹饪中...

我们正在为您精心准备高质量内容，敬请期待！

Engram

深入理解 DeepSeek 的 N-gram 记忆模块

从零实现 Engram

逐步构建压缩分词、多头嵌入、门控融合等核心组件

目录

Attention 的局限性

全局 vs 局部依赖

人类的短期记忆类比

N-gram 哈希原理

朴素方法：直接枚举

解决方案：哈希函数

XOR 混合公式

Layer-Specific 哈希

门控融合机制

为什么需要门控？

Sqrt-Sign 激活函数