cuda基本知识

GPU计算适合解决的问题是简单逻辑，计算相互独立可并行的，而CPU适合解决的问题是，逻辑复杂，计算间相互依赖的问题。
GPU的设计思想是高并发吞吐，而CPU的设计思想为低时延。所以我们可以看到，在CPU中拥有多级缓存并且拥有强大的控制单元，引入多级缓存的目的就是为了降低时延，而GPU中，则是拥有大量的计算单云，而控制单元则比较简单，缓存数目也相对较少。
1. 内存模型
硬件侧：
        SP：线程处理器，具备自己的registers（寄存器）和自身的local memory（局部内存）。registers和local memory只能由SP自己访问。
        SM：多核处理器，由多个SP以及shared memory（共享内存）组成。shared memory 可以被SM中的所有SP访问。
        GPU：显卡，由多个SM以及global memory（全局内存）组成。global memory 可以被所有的SP访问。
软件侧：
        thread：线程，对应着SP。
        bloc

cuda基本知识最先出现在Python成神之路。