2021年11月26日
Hadoop小文件影响及解决
摘要： 一、小文件产生的原因 当文件的大小远远小于HDFS block块的大小（hadoop2：128m）就可以当作是一个小文件；具体产生的原因包括一下： 1）实时计算时，如果窗口开的小，在hdfs上会产生很多小文件 2）离线计算，批处理时，在spark或者mr时，没有设置好partition或者reduc 阅读全文
posted @ 2021-11-26 15:14 Shydow 阅读(1310) 评论(0) 推荐(0)