摘要：环境信息：Mac 安装步骤： 1. 下载hive组件（我选择的是社区的2.0.1版本） http://apache.mirror.globo.tech/hive/hive-2.0.1/ 2. 下载mysql驱动 https://dev.mysql.com/downloads/connector/j/ 阅读全文

摘要：1.简介 现在很少用到使用MR计算框架来实现功能，通常的做法是使用hive等工具辅助完成。但是对于其底层MR的原理还是有必要做一些了解。 2.MR客户端程序实现套路 这一小节总结归纳编写mr客户端程序的一般流程和套路。将以wordcount为例子进行理解。 运行一个mr程序有三种模式，分别为：本地模 阅读全文

摘要：代码：https://github.com/xufeng79x/ZkClientTest 1. 简介 zookeeper的特性决定他适用到某些场景非常合适，比如典型的应用场景： 1.集群管理（Group Membership） 2.统一命名服务（Name Service） 3.配置管理（Config 阅读全文

摘要：可以参考部署HBase系统（分布式部署） 和基于无HA模式的hadoop下部署相比，主要是修改hbase-site .xml文件，修改如下参数即可： 其他并无差别。 阅读全文

摘要：代码：https://github.com/xufeng79x/ZkClientTest 1、简介 zookeeper的基本原理和使用场景描述可参考：[hadoop][基本原理]zookeeper基本原理 本文主要讲解zookeeper节点的增删除改查，以及watcher的使用。 2.工程准备 除 阅读全文

摘要：1.简介 https://www.ibm.com/developerworks/cn/opensource/os-cn-zookeeper/ 2. 数据模型 Zookeeper 会维护一个具有层次关系的数据结构，它非常类似于一个标准的文件系统，如图所示： Zookeeper 这种数据结构有如下这些特 阅读全文

摘要：1.简介 2.X版本后namenode支持了HA特性，使得整个文件系统的可用性更加增强。 2.安装前提 zookeeper集群，zookeeper的安装参考[hadoop][会装]zookeeper安装 3.资源规划 JournalNode JournalNode JournalNode NameN 阅读全文

摘要：1.简介 分布式场景下的各个进程间的协调运作离不开zookeeper， zookeeper已经是大数据领域提供分布式协调服务的事实标准。 本文只介绍zookeeper的安装方法。 2. 节点规划如下： 3.目录规划 上述中： 1.软链接形式有利于后续版本升级后不会影响到环境变量等参数的设定。 2.配 阅读全文

摘要：代码：https://github.com/xufeng79x/hadoop-common-rpc-demo 1. 简介 hadoop中使用rpc机制来进行分布式进程间的通信，被封装进了hadoop-common包中。 hadoop-common包是独立的公用包，我们可以在自己的程序中单独使用，本文 阅读全文

摘要：1.简介： 将源代码import到eclipse可以方便的阅读和修改源码。 2.环境说明： mac mvn工具(Apache Maven 3.3.3 ) 3.hadoop（CDH5.4.2） 1.进入hadoop根目录，执行： 注： 如果不指定eclipse的版本号，将会爆如下错误，应该是2.8版本 阅读全文

摘要：1.简介 HBase系统主要依赖于zookeeper和hdfs系统，所以部署HBase需要先去部署zookeeper和hadoop 2.部署开始 IP或者HOSTNAME需要根据自身主机信息设定。 部署资源： 两个节点：xufeng-2（管理节点） xufeng-3（从节点） zookeeper n 阅读全文