2024年1月29日
Hive参数调优：如何控制map和reduce个数与参数调优（合并小文件和拆分大文件）
摘要： reduce的个数一般最后决定了输出文件的个数，如果想多输出文件的个数（这样文件变小，但有可能程序变慢），那么可以人为增加reduce个数。如果想减少文件个数，也可以手动较少reduce个数(同样可能程序变慢）。但实际开发中，reduce的个数一般通过程序自动推定，而不人为干涉，因为人为控制的话，如 阅读全文
posted @ 2024-01-29 11:47 whiteY 阅读(1168) 评论(0) 推荐(0)