baike并行计算概念

并行计算

概论

▪ 高性能计算	▪ 计算机集群	▪ 分布式计算	▪ 网格计算
▪ 云端运算

方式

▪ Bit-level parallelism	▪ Instruction level parallelism	▪ Data parallelism	▪ 任务并行

理论

▪ Speedup	▪ Amdahl定理	▪ Flynn's taxonomy	▪ Cost efficiency
▪ Gustafson定理	▪ Karp-Flatt metric

元素

▪ 进程	▪ 线程	▪ Fiber	▪ PRAM模型

协调

▪ 多处理	▪ 多执行绪	▪ 超执行绪	▪ 内存一致性
▪ Cache coherency	▪ Barrier	▪ 同步化	▪ Application checkpointing

编程

▪ Programming model	▪ Implicit parallelism	▪ Explicit parallelism

硬件

▪ 贝奥武夫机群	▪ 对称多处理机	▪ Asymmetric multiprocessing	▪ Simultaneous multithreading
▪ 非均匀访存模型	▪ Cache only memory architecture	▪ 共享内存	▪ Distributed memory
▪ Distributed shared memory	▪ 超纯量	▪ 向量处理机	▪ 超级计算机
▪ Stream processing	▪ 通用图形处理器 (GPGPU)

APIs

▪ POSIX Threads	▪ OpenMP	▪ 讯息传递接口 (MPI)	▪ Intel Threading Building Blocks

问题

▪ Embarrassingly parallel	▪ Grand Challenge	▪ Software lockout	▪ 可扩放性
▪ 竞争危害	▪ 死锁	▪ 确定性算法