CS149笔记02并行抽象

Parallel Programming Abstractions

single program, multiple data

SPMD这个定义还是第一次听到，我在Intel ispc的官网找到了这一定义：https://ispc.github.io/ispc.html

The main idea behind SPMD is that one writes programs as if they were operating on a single data element (a pixel for a pixel shader, for example), but then the underlying hardware and runtime system executes multiple invocations of the program in parallel with different inputs (the values for different pixels, for example).

说白了就是让程序员写出如同处理单个数据的并行程序

ISPC sinx

c++ 版本的sinx函数：

可以看到，main函数调用sinx，然后等待计算完成，这个sinx函数是一个完全串行程序

但是我们可以使用ispc写出并行程序，ispc会生成一个gang，gang就是多个program instance的集合。这里我的理解，program instance不应该当做一个线程或者simd中一条lane，虽然它实际上就是simd化，但是我们思考的时候应该把其理解为处理单个数据的program instance