2019年4月3日
摘要: 再写 HDFS Federation机制的时候,发现基础不扎实,需要将之前的hadoop再详细记录一下原理(重点只说Hadoop2.0版本): Hadoop2.0版本,引入了Yarn。核心:HDFS+Yarn+Mapreduce Yarn是资源调度框架。能够细粒度的管理和调度任务。此外,还能够支持其 阅读全文
posted @ 2019-04-03 18:26 好像条狗 阅读(1900) 评论(0) 推荐(0)
摘要: 由于性能评价,HDFS需要优化,在考虑Federation HDFS HDFS只有一个name space, 它使用全部的块。 而Federation HDFS 中有多个独立的namespace,每个命名空间使用一个block Pool。 Bolck Pool : 维护单个命名空间的所有block。 阅读全文
posted @ 2019-04-03 17:08 好像条狗 阅读(878) 评论(0) 推荐(0)