CookLLM文档系统工程FlashAttention
Grouped Query Attention
会员专享实现 GQA/MQA 支持,让多个 Query Head 共享 KV,优化 KV Cache 内存占用。
在权益中心获取代码在前面的章节中,我们实现了完整的 Flash Attention Kernel,支持任意序列长度、多维并行和 Causal Masking。本章将添加最后一个关键特性:Grouped Query Attention (GQA)。
这是 Llama 2/3、Mistral、Falcon 等主流开源模型的标配技术,能够在几乎不损失模型质量的前提下,将 KV Cache 内存占用减少 4-8 倍。
GQA 快速回顾
Grouped Query Attention (GQA) 通过让多个 Query heads 共享同一组 Key/Value heads 来减少 KV Cache 内存:
登录以继续阅读
这是一篇付费内容，请登录您的账户以访问完整内容。