摘要：
转：http://www.cnblogs.com/f1194361820/p/6026313.html Kafka 架构简介 Kafka是一个开源的、分布式的、可分区的、可复制的基于日志提交的发布订阅消息系统。它具备以下特点： ·消息持久化： 为了从大数据中获取有价值的信息，任何信息的丢失都是负担不 阅读全文
posted @ 2016-12-06 16:31
XGogo
阅读(11435)
评论(0)
推荐(2)
摘要：
[转载请注明作者和原文链接, 如有谬误, 欢迎在评论中指正. ] 场景描述 在分布式应用, 往往存在多个进程提供同一服务. 这些进程有可能在相同的机器上, 也有可能分布在不同的机器上. 如果这些进程共享了一些资源, 可能就需要分布式锁来锁定对这些资源的访问.本文将介绍如何利用zookeeper实现分 阅读全文
posted @ 2016-11-25 17:02
XGogo
阅读(330)
评论(0)
推荐(0)
摘要：
[转载请注明作者和原文链接, 如有谬误, 欢迎在评论中指正. ] ZooKeeper的数据结构, 与普通的文件系统极为类似. 见下图: 图片引用自developerworks 图中的每个节点称为一个znode. 每个znode由3部分组成: stat. 此为状态信息, 描述该znode的版本, 权限 阅读全文
posted @ 2016-11-25 16:53
XGogo
阅读(389)
评论(0)
推荐(0)
摘要：
安装和配置详解 本文介绍的 Zookeeper 是以 3.2.2 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的安装和配置。 单 阅读全文
posted @ 2016-11-25 16:46
XGogo
阅读(462)
评论(0)
推荐(0)
摘要：
转：http://www.blogjava.net/BucketLi/archive/2010/12/21/341268.html zookeeper介绍zookeeper是一个为分布式应用提供一致性服务的软件，它是开源的Hadoop项目中的一个子项目，并且根据google发表的<The Chubb 阅读全文
posted @ 2016-11-25 15:53
XGogo
阅读(619)
评论(0)
推荐(0)
摘要：
Zookeeper是一个分布式协调框架，有不错的性能，也经过许多公司的验证，所以在很多场景都有使用。大家一般用Zookeeper来实现服务发现(类似DNS)，配置管理，分布式锁，leader选举等。在这些场景中，Zookeeper成为了一个被依赖的核心组件，Zookeeper的稳定性是需要特别关注的 阅读全文
posted @ 2016-11-24 22:16
XGogo
阅读(13487)
评论(0)
推荐(2)
摘要：
转自：http://blog.csdn.net/hengyunabc/article/details/41450003?utm_source=tuicool&utm_medium=referral 问题现象 最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下 阅读全文
posted @ 2016-11-09 19:20
XGogo
阅读(1487)
评论(1)
推荐(0)
摘要：
转自：http://www.2cto.com/os/201605/510489.html hadoop1的核心组成是两部分，即HDFS和MapReduce。在hadoop2中变为HDFS和Yarn。新的HDFS中的NameNode不再是只有一个了，可以有多个（目前只支持2个）。每一个都有相同的职能。 阅读全文
posted @ 2016-10-26 14:22
XGogo
阅读(361)
评论(0)
推荐(0)
摘要：
Hadoop中的NameNode好比是人的心脏，非常重要，绝对不可以停止工作。在hadoop1时代，只有一个NameNode。如果该NameNode数据丢失或者不能工作，那么整个集群就不能恢复了。这是hadoop1中的单点问题，也是hadoop1不可靠的表现。hadoop2就解决了这个问题。 had 阅读全文
posted @ 2016-10-26 14:19
XGogo
阅读(383)
评论(0)
推荐(0)
摘要：
HDFS High Availability Using the Quorum Journal Manager Purpose Note: Using the Quorum Journal Manager or Conventional Shared Storage Background Archi 阅读全文
posted @ 2016-10-26 14:17
XGogo
阅读(444)
评论(0)
推荐(0)
浙公网安备 33010602011771号