面试题:为什么hadoop不适合存储小文件(1、从NN角度去 分析 2、DN角度分析 3、从MR角度分析)

NN角度:小文件一旦很多,那么小文件的权限信息,文件大小信息,归属信息等信息就会跟着增加,每一个小文件都会产生这些信息,这些信息一旦多起来,那么NameNode的元数据就会变大,会导致元数据的大小超过小文件大小的总和,会增加NameNode的压力,有可能导致主节点崩溃,用户就无法通信了

DN角度:小文件一多,每一个文件都会有一个block碎片,副本也会变多,导致DataNode有很多碎片,对储存不利,也很乱

MR角度:(过几天补充)

posted @ 2024-03-28 21:22  peculiar-  阅读(7)  评论(0编辑  收藏  举报