hdfs中的小文件影响以及处理办法

小文件影响:

   存储小文件时会降低NN的服务能力,NameNode的资源是非常宝贵的。

解决方法:

  ①采用har 归档,将小文件归档。

  ②采用CombineTextInputFormat

  ③开启jvm重用

posted @ 2020-11-05 00:29  北冥_之鱼  阅读(425)  评论(0)    收藏  举报