hadoop+hbase+hive+Spark环境性能调优---安装系列九

部分调优

spark-env.sh:
spark.speculation 
的节点上也尝试执行该任务的一个副本。打开此选项会帮助减少大规模集群中个别较慢的任务带来的影响。默认值false


spark.driver.memory
为driver进程分配的内存。注意：在客户端模式中，不能在SparkConf中直接配置该项，因为driver JVM进程已经启动了。默认1g


spark.executor.memory
为每个executor进程分配的内存。默认1g


spark.serializer
指定用来进行序列化的类库，包括通过网络传输数据或缓存数据时的序列化。为了速度，推荐使用KryoSerializer。默认JavaSerializer


spark.local.dirs
Spark用于写中间数据，如RDD Cache，Shuffle，Spill等数据的位置,我们可以配置多个路径（用逗号分隔）到多个磁盘上增加整体IO带宽


加大吞吐量,内存。


增加配置
spark-env.sh
export SPARK_LOCAL_DIRS=/itcast/spark-2.0.1/sparktmp/diska,/itcast/spark-2.0.1/sparktmp/diskb,/itcast/spark-2.0.1/sparktmp/diskc,/itcast/spark-2.0.1/sparktmp/diskd,/itcast/spark-2.0.1/sparktmp/diske,/itcast/spark-2.0.1/sparktmp/diskf,/itcast/spark-2.0.1/sparktmp/diskg


增加配置
spark-defaults.conf
spark.shuffle.file.buffer        64k
 
spark.reducer.maxSizeInFlight    96m


spark.shuffle.memoryFraction     0.3
 
spark.shuffle.consolidateFiles   true






配置hive
hive-site.xml增加
<property>

<name>spark.shuffle.file.buffer</name>


<value>64k</value>


</property>




<property>


<name>spark.reducer.maxSizeInFlight</name>


<value>96m</value>


</property>




<property>
<name>spark.shuffle.memoryFraction</name>


<value>0.3</value>


</property>




<property>


<name>spark.shuffle.consolidateFiles</name>


<value>true</value>


</property>