随笔分类 -  hadoop / hive

hiveSQL mapreduce任务调优
摘要：set hive.merge.mapredfiles=true; --在Map-Reduce的任务结束时合并小文件 set mapred.max.split.size=30000000; -- 决定每个map处理的最大的文件大小，单位为B --set mapred.min.split.size=10 阅读全文
posted @ 2023-04-21 13:35 家有花猪 阅读(75) 评论(0) 推荐(0)