CookLLM文档基础知识
Tokenization
深入理解 LLM 的词元化机制，从 BPE 算法到 GPT 系列实现
概述
Tokenization（词元化）是大语言模型的基础组件，负责将文本转换为模型可以处理的数字序列。虽然它看起来只是简单的文本预处理，但实际上 Tokenization 的设计直接影响模型的性能、效率和行为。许多 LLM 的"奇怪"表现，比如不擅长拼写、对某些语言支持不佳等，都可以追溯到 Tokenization 的设计。
本系列将带你从零开始理解 Tokenization 的原理，学习 Byte Pair Encoding (BPE) 算法，并动手实现一个 GPT 风格的 Tokenizer。
本系列适合对 LLM 有基本了解的读者。如果你想深入理解 Tokenization 如何影响模型行为，或者想自己实现一个 Tokenizer，这个系列非常适合你。