随笔分类 -  hdfs

转载:HDFS-Datanode磁盘选择策略源码分析
摘要：Datanode节点会配置多块数据盘，当我们往 HDFS 上写入新的数据块，DataNode 将会使用 volume 选择策略来为数据块选择存储的磁盘目录。选择正确的策略可以避免单块磁盘数据过多.HDFS在写入时有两种策略:基于轮询策略(默认), 不考虑文件大小基于可用空间的策略轮询策略核心代码// 遍历磁盘列表 while (true) { final V volume = vo... 阅读全文
posted @ 2020-05-26 20:45 bitbitbyte 阅读(277) 评论(0) 推荐(0)