Spark官方文档中推荐的硬件配置

1、关于存储：

1）、可能的话，Spark节点与HDFS节点是一一对应的

2）、如果做不到，那至少保证Spark节点与HDFS节点是一个局域网内

 

2、关于硬盘：

1）、官方推荐每台机子4-8个硬盘，然后不需要做RAID（因为本身你的硬盘就是用来做），配置 spark.local.dir结点啦

 

3、关于内存

1）、官方建议给spark配置当前机器内存的75%比较合理

2）、当一个节点的内存超过200G的时候，建议将当前节点的worker换成两个，平均分配你的资源。  因为超过200G后，JAVA的JVM表现的不太好。

 

4、网络

1）、官方是建议千兆以上的多网上（十个？）， 这个怎么配置我不太懂，运维真的是一窍不通啦。  后期再去琢磨

 

 

5、CPU

1）、官方建议至少每个节点要8-16个CPU，这个要看情况啦。