2018年3月9日
详解分布式应用程序协调服务Zookeeper
摘要： 主从结构：HDFS、Yarn、HBase、storm、spark、zookeeper都存在单点故障问题 hadoop1.x没有解决方案 hadoop2.x利用zookeeper实现HA zookeeper是开源的分布式应用程序协调服务，是Google chubby的开源实现 zookeeper相当于 阅读全文
posted @ 2018-03-09 20:57 对白的算法屋 阅读(726) 评论(0) 推荐(0)
zookeeper的原理及使用
摘要： ZooKeeper是Hadoop Ecosystem中非常重要的组件，它的主要功能是为分布式系统提供一致性协调(Coordination)服务，与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper，第一部分介绍ZooKeeper的基本原理，第二部分介绍Zo 阅读全文
posted @ 2018-03-09 12:28 对白的算法屋 阅读(416) 评论(0) 推荐(0)
Hadoop、Yarn和vcpu资源的配置
摘要： 转载自：https://www.cnblogs.com/S-tec-songjian/p/5740691.html Hadoop YARN同时支持内存和CPU两种资源的调度（默认只支持内存，如果想进一步调度CPU，需要自己进行一些配置），本文将介绍YARN是如何对这些资源进行调度和隔离的。 在YAR 阅读全文
posted @ 2018-03-09 11:44 对白的算法屋 阅读(233) 评论(0) 推荐(0)