摘要：
一、背景 每个文件均按块存储，每个块的元数据存储在NameNode的内存中，因此HDFS存储小文件会非常低效。因为大量的小文件会耗尽NameNode中的大部分内存。但注意，存储小文件所需要的磁盘容量和数据块的大小无关。每个块的大小可以通过配置参数（dfs.blocksize）来规定，默认的大小128 阅读全文
posted @ 2022-08-21 18:46
大数据老司机
阅读(4398)
评论(0)
推荐(1)
摘要：
一、概述 hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。 Hadoop 环境部署可以参考我之前的文章：大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原 阅读全文
posted @ 2022-08-21 08:42
大数据老司机
阅读(2464)
评论(0)
推荐(0)
浙公网安备 33010602011771号