2017 年 6月 9 日随笔档案 - 大葱拌豆腐

2017年6月9日

摘要：转载自：http://blog.csdn.net/a822631129/article/details/51313145 本文主要介绍HDFS HA特性，以及如何使用QJM(Quorum Journal Manager)特性实现HDFS HA。一、背景 HDFS集群中只有一个Namenode，这就阅读全文

posted @ 2017-06-09 11:00 大葱拌豆腐阅读(261) 评论(0) 推荐(0)

Hadoop NameNode 高可用 (High Availability) 实现解析

摘要：转载自：http://reb12345reb.iteye.com/blog/2306818 在 Hadoop 的整个生态系统中，HDFS NameNode 处于核心地位，NameNode 的可用性直接决定了 Hadoop 整个软件体系的可用性。本文尝试从内部实现的角度对 NameNode 的高可用机阅读全文

posted @ 2017-06-09 10:53 大葱拌豆腐阅读(437) 评论(0) 推荐(0)

hadoop2.x Federation

摘要：单Active NN的架构使得HDFS在集群扩展性和性能上都有潜在的问题，当集群大到一定程度后，NN进程使用的内存可能会达到上百G，NN成为了性能的瓶颈常用的估算公式为1G对应1百万个块，按缺省块大小计算的话，大概是64T (这个估算比例是有比较大的富裕的，其实，即使是每个文件只有一个块，所有元数阅读全文

posted @ 2017-06-09 10:34 大葱拌豆腐阅读(167) 评论(0) 推荐(0)

hdfs HA原理

摘要：早期的hadoop版本，NN是HDFS集群的单点故障点，每一个集群只有一个NN,如果这个机器或进程不可用，整个集群就无法使用。为了解决这个问题，出现了一堆针对HDFS HA的解决方案（如：Linux HA, VMware FT, shared NAS+NFS, BookKeeper, QJM/Quo 阅读全文

posted @ 2017-06-09 10:33 大葱拌豆腐阅读(754) 评论(0) 推荐(0)

公告