摘要:
spark合并小文件有两种办法,分别针对spark core和spark sql #######一、设置spark配置文件的属性(spark sql) spark.sql.shuffle.partitions example: SparkSession.builder().enableHiveSup 阅读全文
posted @ 2019-01-08 13:00
shenjie2017
阅读(3058)
评论(0)
推荐(0)
摘要:
--在Map-only的任务结束时合并小文件 SET hive.merge.mapfiles=TRUE; --在Map-Reduce的任务结束时合并小文件 SET hive.merge.mapredfiles=TRUE; set hive.map.aggr = true; set hive.grou 阅读全文
posted @ 2019-01-08 10:53
shenjie2017
阅读(385)
评论(0)
推荐(0)