摘要：
Zookeeper的启动流程 Zookeeper的选举流程 1）server刚启动的时候，server的状态初始化为LOOKING状态 2）server发生异常，切换到LOOKING状态 server有4中状态 QuorumCnxManager可以保证每对peer之间只有一个链接，如果有server 阅读全文
posted @ 2016-04-27 10:59
风雪夜归猿
阅读(10973)
评论(0)
推荐(0)
摘要：
Namenode 和 Datanode HDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节 阅读全文
posted @ 2016-04-17 14:20
风雪夜归猿
阅读(346)
评论(0)
推荐(0)
摘要：
先决条件 支持平台 GNU/Linux是产品开发和运行的平台。 Hadoop已在有2000个节点的GNU/Linux主机组成的集群系统上得到验证。 所需软件 Linux和Windows所需软件包括: 安装软件 如果你的集群尚未安装所需软件，你得首先安装它们。 以Ubuntu Linux为例: $ s 阅读全文
posted @ 2016-04-16 19:00
风雪夜归猿
阅读(158)
评论(0)
推荐(0)
摘要：
Nginx/LVS/HAProxy是目前使用最广泛的三种负载均衡软件。一般对负载均衡的使用是随着网站规模的提升根据不同的阶段来使用不同的技术。具体的应用需求还得具体分析，如果是中小型的Web应用，比如日PV小于1000万，用Nginx就完全可以了；如果机器不少，可以用DNS轮询，LVS所耗费的机器还 阅读全文
posted @ 2016-03-27 13:34
风雪夜归猿
阅读(2693)
评论(0)
推荐(0)
摘要：
Kafka中ZooKeeper的用途 正如ZooKeeper用于分布式系统的协调和促进，Kafka使用ZooKeeper也是基于相同的原因。ZooKeeper用于管理、协调Kafka代理。每个Kafka代理都通过ZooKeeper协调其它Kafka代理。当Kafka系统中新增了代理或者某个代理故障失 阅读全文
posted @ 2016-03-27 13:05
风雪夜归猿
阅读(4818)
评论(0)
推荐(1)
摘要：
Hadoop MapReduce 是三者中出现最早，知名度最大的分布式计算框架，最早由 Google Lab 开发，使用者遍布全球（Hadoop PoweredBy）；主要适用于大批量的集群任务，由于是批量执行，故时效性偏低，原生支持 Java 语言开发 MapReduce ，其它语言需要使用到 H 阅读全文
posted @ 2016-03-26 18:38
风雪夜归猿
阅读(1528)
评论(0)
推荐(0)
摘要：
负载均衡的作用就是把请求均匀的分配给各个节点，它是一种动态均衡，通过一些工具实时地分析数据包，掌握网络中的数据流量状况，把请求理分配出去。对于不同的应用环境(如电子商务网站,它的计算负荷大;再如网络数据库应用，读写频繁，服务器的存储子系统系统面临很大压力;再如视频服务应用，数据传输量大，网络接口负担 阅读全文
posted @ 2016-03-26 18:34
风雪夜归猿
阅读(255)
评论(0)
推荐(0)
摘要：
Zookeeper 分布式服务框架是 Apache Hadoop 的一个子项目，它主要是用来解决分布式应用中经常遇到的一些数据管理问题，如：统一命名服务、状态同步服务、集群管理、分布式应用配置项的管理等。 Zookeeper 从设计模式角度来看，是一个基于观察者模式设计的分布式服务管理框架，它负责存 阅读全文
posted @ 2016-03-26 17:30
风雪夜归猿
阅读(235)
评论(0)
推荐(0)
摘要：
zookeeper是hadoop下面的一个子项目, 用来协调跟hadoop相关的一些分布式的框架, 如hadoop, hive, pig等, 其实他们都是动物, 所以叫zookeeper ——“动物园管理员”。动物园里当然有好多的动物，游客可以根据动物园提供的向导图到不同的场馆观赏各种类型的动物，而 阅读全文
posted @ 2016-03-26 09:43
风雪夜归猿
阅读(10438)
评论(3)
推荐(1)
摘要：
本文转载自http://blog.csdn.net/mayp1/article/details/50969112 和http://dongxicheng.org/search-engine/log-systems/ 随着互联网行业的发展和IT技术在行业内的广泛应用，许多互联网企业的服务器每天产生海量 阅读全文
posted @ 2016-03-26 09:06
风雪夜归猿
阅读(7246)
评论(0)
推荐(0)
浙公网安备 33010602011771号