hdfs中的小文件影响以及处理办法
小文件影响:
存储小文件时会降低NN的服务能力,NameNode的资源是非常宝贵的。
解决方法:
①采用har 归档,将小文件归档。
②采用CombineTextInputFormat
③开启jvm重用
智商不是瓶颈,更需要坚韧和毅力。
小文件影响:
存储小文件时会降低NN的服务能力,NameNode的资源是非常宝贵的。
解决方法:
①采用har 归档,将小文件归档。
②采用CombineTextInputFormat
③开启jvm重用