博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2015年3月30日

摘要: Hadoop 2.0 NameNode HA和Federation实践Posted on2012/12/10一、背景 天云趋势在2012年下半年开始为某大型国有银行的历史交易数据备份及查询提供基于Hadoop的技术解决方案,由于行业的特殊性,客户对服务的可用性有着非常高的要求,而HDFS长久以来都... 阅读全文

posted @ 2015-03-30 22:33 xymaqingxiang 阅读(320) 评论(0) 推荐(0)

摘要: Hadoop 1.0内核主要由两个分支组成:MapReduce和HDFS,众所周知,这两个系统的设计缺陷是单点故障,即MR的JobTracker和HDFS的NameNode两个核心服务均存在单点问题,该问题在很长时间内没有解决,这使得Hadoop在相当长时间内仅适合离线存储和离线计算。 令人欣... 阅读全文

posted @ 2015-03-30 17:18 xymaqingxiang 阅读(615) 评论(0) 推荐(1)

摘要: ——本文讲解了Storm故障容忍性(Fault-Tolerance)的设计细节:当Worker、节点、Nimbus或者Supervisor出现故障时是如何实现故障容忍性,以及Nimbus是否存在单点故障问题。当一个Worker挂了会怎样?When a worker dies, the supervi... 阅读全文

posted @ 2015-03-30 10:44 xymaqingxiang 阅读(841) 评论(0) 推荐(0)