Spark 2.x管理与开发-Spark SQL-性能优化（二）性能优化相关参数

 

Spark 2.x管理与开发-Spark SQL-性能优化（二）性能优化相关参数

一、将数据缓存到内存中的相关优化参数

spark.sql.inMemoryColumnarStorage.compressed

• 默认为 true
•    Spark SQL 将会基于统计信息自动地为每一列选择一种压缩编码方式。

spark.sql.inMemoryColumnarStorage.batchSize

• 默认值：10000
• 缓存批处理大小。缓存数据时, 较大的批处理大小可以提高内存利用率和压缩率，但同时也会带来 OOM（Out Of Memory）的风险。

 二、其他性能相关的配置选项（不过不推荐手动修改，可能在后续版本自动的自适应修改）

spark.sql.files.maxPartitionBytes

• 默认值：128 MB
• 读取文件时单个分区可容纳的最大字节数

 spark.sql.files.openCostInBytes

• 默认值：4M
• 打开文件的估算成本, 按照同一时间能够扫描的字节数来测量。当往一个分区写入多个文件的时候会使用。高估更好, 这样的话小文件分区将比大文件分区更快 (先被调度)。

spark.sql.autoBroadcastJoinThreshold

• 默认值：10M
• 用于配置一个表在执行 join 操作时能够广播给所有 worker 节点的最大字节大小。通过将这个值设置为 -1 可以禁用广播。注意，当前数据统计仅支持已经运行了 ANALYZE TABLE <tableName> COMPUTE STATISTICS noscan 命令的 Hive Metastore 表。

 spark.sql.shuffle.partitions

• 默认值：200
• 用于配置 join 或聚合操作混洗（shuffle）数据时使用的分区数。

*********说明*********

在写Spark程序的时候将某些参数进行修改即可：

Eg:将读取文件时单个分区可容纳的最大字节数修改成512MB

val spark=SparkSession.builder().appName(“HieToMySQL”).config(“spark.sql.files.maxPartitionBytes”,“512”).enableHiveSupport().getOrCreate()

一般情况下，工作状况中这些参数是不会进行修改的，因为这些参数之间会有些许联系，彼此之间会互相影响，修改参数的值可能会踩坑。