GPU 架构基础

核心矛盾：延迟 vs 吞吐

在开始写第一行 CUDA 代码之前，我们需要先调整一下大脑的"计算模式"。

CPU 和 GPU 虽然都是为了计算而生，但它们解决的是完全不同的物理问题。这就好比法拉利与公交车的区别：

• CPU (Latency Oriented)：为了低延迟而设计。它拥有巨大的缓存（Cache）和极其复杂的控制逻辑（分支预测、乱序执行）。它的目标是尽快完成一个必须串行执行的任务。
  • 场景：操作系统调度、逻辑复杂的业务代码。
• GPU (Throughput Oriented)：为了高吞吐量而设计。它砍掉了大部分控制逻辑和缓存，把晶体管全用来造计算单元 (ALU)。它的目标是同时处理海量的数据。
  • 场景：图形渲染、矩阵乘法、深度学习训练。

异构计算 (Heterogeneous Computing)

GPU 并不是一个能独立运行的计算平台，而必须视为 CPU 的协处理器 (Coprocessor)。

当我们谈论"GPU 并行计算"时，实际上是指 CPU + GPU 的异构计算架构：

• Host (主机端)：CPU 及其内存。负责复杂的逻辑控制、IO 读取和任务调度。
• Device (设备端)：GPU 及其显存。负责密集型的并行计算任务。
• 通信桥梁：两者通过 PCIe 总线 连接。