Tez
摘要:The following Hive statements will be transformed into four dependent MR jobs, their running process is shown in the figure, and the use of Tez can gr
阅读全文
posted @
2022-01-04 11:07
苍狼一笑
阅读(216)
推荐(0)
1
摘要:1.1 Map端文件合并减少Map任务数量 一般来说,HDFS的默认文件块大小是128M,如果在Hive执行任务时,发现Map端的任务过多,且执行时间多数不超过一分钟,建议通过参数,划分(split)文件的大小,合并小文件。如: 1 set hive.input.format=org.apache.
阅读全文
posted @
2022-01-04 10:56
苍狼一笑
阅读(107)
推荐(0)