0 预备知识

nvcc

• nvcc就是CUDA的编译器，cuda程序有两种代码，在cpu上的host代码和在gpu上的device代码。
• .cu后缀：cuda源代码，包括host和device代码。

常用命令

1 CUDA一些概念

术语

Host：CPU和内存；

Device：GPU和显存；

CUDA中计算分为两部分，串行部分在Host上执行，即CPU，而并行部分在Device上执行，即GPU。

<aside> 💡

Host Device

</aside>

显卡硬件架构：SM、SP、Warp

具体到nvidia硬件架构上，有以下两个重要概念：

**SP（streaming processor）：**最基本的处理单元，也称为CUDA core。最后具体的指令和任务都是在SP上处理的。GPU进行并行计算，也就是很多个SP同时做处理。

**SM（streaming multiprocessor）：**多个SP加上其他的一些资源组成一个SM，也叫GPU大核，其他资源如：warp scheduler，register，shared memory等。SM可以看做GPU的心脏（对比CPU核心），register和shared memory是SM的稀缺资源。CUDA将这些资源分配给所有驻留在SM中的threads。因此，这些有限的资源就使每个SM中active warps有非常严格的限制，也就限制了并行能力。如下图是一个SM的基本组成，其中每个绿色小块代表一个SP。

每个SM包含的SP数量依据GPU架构而不同，Fermi架构GF100是32个，GF10X是48个，Kepler架构都是192个，Maxwell都是128个。当一个kernel启动后，thread会被分配到很多SM中执行。大量的thread可能会被分配到不同的SM，但是同一个block中的thread必然在同一个SM中并行执行。