OpenMP，MPI，MapReduce 比较 - all blue - ITeye技术网站
参考：
http://blog.csdn.net/zhuliting/article/details/5911018
OpenMP和MPI是并行编程的两个手段，对比如下：
- OpenMP:线程级（并行粒度）；共享存储；隐式（数据分配方式）；可扩展性差；
- MPI：进程级；分布式存储；显式；可扩展性好。
OpenMP采用共享存储，意味着它只适应于SMP,DSM机器，不适合于集群。MPI虽适合于各种机器，但它的编程模型复杂：
- 需要分析及划分应用程序问题，并将问题映射到分布式进程集合；
- 需要解决通信延迟大和负载不平衡两个主要问题；
- 调试MPI程序麻烦；
- MPI程序可靠性差，一个进程出问题，整个程序将错误；
其中第2个问题感受深刻。每次听我们部门并行组的人做报告，总是听到他们在攻克通信延迟大和负载不平衡的问题。一种并行算法的好坏就看它有没有很好的解决这两个问题。
与OpenMP，MPI相比，MapReduce的优势何在呢？
- 自动并行；
- 容错；
- MapReduce学习门槛低。
附：
- SMP(Symmetric multi-processing)，共享总线与内存，单一操作系统映象。在软件上是可扩展的，而硬件上不能。
- DSM（distributed shared memory），SMP的扩展。物理上分布存储；单一内存地址空间；非一致内存访问；单一操作系统映象。
相关评论：
OpenMP在科学计算方面居于统治地位，对于多线程方面（包括多核）有很大的优势。
OpenMP+MPI的组合方式在集群方面有很成熟的案例。
MapReducesh是Google的人研究出来的一个模型，开发的一个针对大规模群组中的海量数据处理的分布式编程模型
以上为转载！
