2021年10月
hive优化：设置map和reduce
摘要： 一、 控制hive任务中的map数: 1. 通常情况下，作业会通过input的目录产生一个或者多个map任务。主要的决定因素有： input的文件总个数，input的文件大小，集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到，该参数不能自定义 阅读全文
posted @ 2021-10-05 14:42 waitlz 阅读(574) 评论(0) 推荐(0)