并行计算设计导论

并行硬件

SIMD系统

在大量数据上同时执行相同指令
向量处理器
GPU

MIMD系统

多个独立的处理器异步协作

共享内存系统

一致性访问UMA

互联网络将所有处理器连接到内存

非一致性访问NUMA

每个芯片直接使用一块内存，访问其他内存需要通过其他芯片

分布式内存系统

互联网络

评价标准

• 带宽：传输数据的速度（发射速度）
• 延迟：传送数据的速度
• 等分宽度：将节点任意等分，最少能支持的同时通信数
• 链路数目

共享内存互联网络

连接处理器和内存
总线（Bus），交叉开关矩阵（crossbar）

分布式内存互联网络

连接不同处理器

直接互联

直接互联的含义是：节点和交换器直接相连，可以看作一体（注意，相连需要一条链路）
链路数目：

• 环：等分宽度2，2p（p为节点数目）
• 环面网格(toroidal mesh)：等分宽度2根号p，链路3p
• 超立方体 等分宽度p/2，链路p(d/2 + 1), d = log2(p)
• 全相连网络：等分宽度 p^{2/4，链路P}2/2 + p/2 + p

间接互联

交叉开关矩阵和omega网格

问题

NUMA和分布式内存的不同？