摘要:
hadoop小文件存档1.HDFS存档小文件弊端 每个文件均按块存储,每个块的元数据存储在NameNode的内存中,因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意,存储小文件所需的磁盘容量和数据块的大小无关。例如,一个1M的文件设置为128M的块存储, 阅读全文
posted @ 2019-08-08 23:15
linyouyi
阅读(426)
评论(0)
推荐(0)
浙公网安备 33010602011771号