2018年7月31日

HDFS存档

摘要： Hadoop存档 每个文件均按块方式存储，每个块的元数据存储在namenode的内存中，因此Hadoop存储小文件会非常低效。因为大量的小文件会耗尽namenode中的大部分内存。存储小文件所需的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比不会增多。例如，一个1MB的文件以大小为128MB的块 阅读全文

posted @ 2018-07-31 22:50 嘣嘣嚓 阅读(428) 评论(0) 推荐(0)

导航