打赏

hadoop-2.6.0-cdh5.4.5.tar.gz(CDH)的3节点集群搭建(含zookeeper集群安装）

　　

前言

　　本人呕心沥血所写，经过好一段时间反复锤炼和整理修改。感谢所参考的博友们！同时，欢迎前来查阅赏脸的博友们收藏和转载，附上本人的链接 http://www.cnblogs.com/zlslch/p/5846390.html 

 

 

附链接如下：

　　http://blog.csdn.net/u010270403/article/details/51446674

 

关于几个疑问和几处心得！

a.用NAT，还是桥接，还是only-host模式？

   答： hostonly、桥接和NAT

b.用static的ip，还是dhcp的？

答：static

c.别认为快照和克隆不重要，小技巧，比别人灵活用，会很节省时间和大大减少错误。

d.重用起来脚本语言的编程，如paython或shell编程。

　对于用scp -r命令或deploy.conf（配置文件），deploy.sh（实现文件复制的shell脚本文件），runRemoteCdm.sh(在远程节点上执行命令的shell脚本文件)。

e.重要Vmare Tools增强工具，或者，rz上传、sz下载。

f.大多数人常用

   Xmanager Enterprise *安装步骤

　用到的所需：

　　1、VMware-workstation-full-11.1.2.61471.1437365244.exe

　　2、CentOS-6.5-x86_64-bin-DVD1.iso

　　3、jdk-7u69-linux-x64.tar.gz

　　4、hadoop-2.6.0-cdh5.4.5.tar

　　5、apache-cassandra-2.2.1-bin.tar.gz

　　6、apache-flume-1.6.0-bin.tar.gz

　　7、apache-tomcat-7.0.65.tar.gz

　　8、flume-ng-1.5.0-cdh5.4.5.tar.gz

　　9、hbase-1.0.0-cdh5.4.5.tar.gz

　　10、hive-1.1.0-cdh5.4.5.tar.gz

　　11、protobuf-2.5.0.tar.gz

　　12、sqoop-1.4.5-cdh5.4.5.tar.gz

　　13、zookeeper-3.4.5-cdh5.4.5.tar.gz

 

　机器规划：

　　192.168.80.11   ----------------  CDHNode1

　　192.168.80.12   ----------------  CDHNode2

　　192.168.80.13   ----------------  CDHNode3

　　

  目录规划：

　　1、安装目录：

　　　　　　/home/hadoop/app/

　　2、数据存放目录：

　　　　　　dfs.namenode.name.dir ---file:/home/hadoop/data/name    //存放元数据

　　　　　　dfs.datanode.data.dir ---file:/home/hadoop/data/datanode //datanode数据存放目录

　　　　　　dfs.namenode.edits.dir---file:/home/hadoop/data/hdfs/edits       //存放编辑日志

　　　　　　dfs.journalnode.edits.dir--/home/hadoop/data/journaldata/jn      //存放编辑日志同步数据

　　　　　　dfs.hosts.exclude--/home/hadoop/app/hadoop-2.6.0-cdh5.4.5/etc/hadoop/excludes  //它是一个文件排除host

　　3、进程pid:

　　　　　　export HADOOP_PID_DIR=/home/hadoop/data/pid               //存储hadoop 常驻进程pid

　　　　　　export HADOOP_SECURE_DN_PID_DIR=/home/hadoop/data/pid        //datanode进程 pid

　　4、临时目录：

　　　　　　/home/hadoop/data/tmp

 

 

　　第一步：安装VMware-workstation虚拟机，我这里是VMware-workstation11版本。

　　     详细见 -> 

 　　　 VMware workstation 11 的下载　　　　　　

          VMWare Workstation 11的安装

          VMware Workstation 11安装之后的一些配置

　　第二步：安装CentOS系统，我这里是6.6版本。推荐（生产环境中常用）

　　　　详细见 ->　　

          CentOS 6.5的安装详解

          CentOS 6.5安装之后的网络配置

          CentOS 6.5静态IP的设置（NAT和桥接都适用）　

          CentOS 命令行界面与图形界面切换

          网卡eth0、eth1...ethn谜团

          Centos 6.5下的OPENJDK卸载和SUN的JDK安装、环境变量配置

 

      第三步：VMware Tools增强工具安装

　　　　详细见 ->

      VMware里Ubuntukylin-14.04-desktop的VMware Tools安装图文详解

　　

　　第四步：准备小修改（学会用快照和克隆，根据自身要求情况，合理位置快照）　

　　　　详细见 ->　　　

     CentOS常用命令、快照、克隆大揭秘

    新建用户组、用户、用户密码、删除用户组、用户（适合CentOS、Ubuntu）

　　　　

　　　　1、ssh的安装（SSH安装完之后的免密码配置，放在后面）

　　　　2、静态IP的设置

　　　　3、hostname和/etc/hosts

　　　　4、永久关闭防火墙

　　　　5、时间同步

　　　　

1 软件环境准备

 

 

虚拟机

VMWare11

操作系统

CentOS6.5

JDK

jdk-7u79-linux-x64.tar.gz 

远程连接

XShell






hadoop生态系统


hadoop-2.6.0-cdh5.4.5.tar.gz

hbase-1.0.0-cdh5.4.4.tar.gz

hive-1.1.0-cdh5.4.5.tar.gz

flume-ng-1.5.0-cdh5.4.5.tar.gz

sqoop-1.4.5-cdh5.4.5.tar.gz

zookeeper-3.4.5-cdh5.4.5.tar.gz

 

2 主机规划

由于我要安装3个节点的集群环境，所以我们分配好ip地址和主机功能

 

CDHNode1

/192.168.80.11

CDHNode2

/192.168.80.12

CDHNode3

/192.168.80.13

namenode

是

是

否

datanode

否

是

是

resourcemanager

是

是

否

journalnode

是

是

是

zookeeper

是

是

是

日志采集服务器

是

是

否

采集服务器负载均衡

是

是

是

目标网站（web）程序

是

否

是

注意：Journalnode和ZooKeeper保持奇数个，最少不少于 3 个节点。

 

3 CDHNode1、CDHNode2、CDHNode3的静态IP、网络配置、主机名、用户名和用户组

1、    CDHNode1、CDHNode2、CDHNode3的Linux安装省略，不再赘述。

2、 CDHNode1、CDHNode2、CDHNode3的静态IP、网络配置、主机名、用户名、用户组

 

新建用户组、用户、用户密码、删除用户组、用户（适合CentOS、Ubuntu）

groupadd hadoop      创建hadoop用户组

useradd -m -g hadoop hadoop    新建hadoop用户并增加到hadoop用户组中

passwd hadoop     hadoop用户密码，为hadoop

‘’

 

4 、目录规划、下载必备软件

 

目录规划

 

1、安装目录：

/home/hadoop/app/

 

2、数据存放目录：

dfs.namenode.name.dir ---file:/home/hadoop/data/name    //存放元数据

dfs.datanode.data.dir ---file:/home/hadoop/data/datanode //datanode数据存放目录

dfs.namenode.edits.dir---file:/home/hadoop/data/hdfs/edits       //存放编辑日志

dfs.journalnode.edits.dir--/home/hadoop/data/journaldata/jn      //存放编辑日志同步数据

dfs.hosts.exclude--/home/hadoop/app/hadoop-2.6.0-cdh5.4.5/etc/hadoop/excludes  //它是一个文件排除host

 

3、进程pid:

export HADOOP_PID_DIR=/home/hadoop/data/pid               //存储hadoop 常驻进程pid

export HADOOP_SECURE_DN_PID_DIR=/home/hadoop/data/pid        //datanode进程 pid

 

4、临时目录：

/home/hadoop/data/tmp

 

1、安装目录：

/home/hadoop/app/

 

2、数据存放目录：

dfs.namenode.name.dir ---file:/home/hadoop/data/name    //存放元数据

dfs.datanode.data.dir ---file:/home/hadoop/data/datanode //datanode数据存放目录

dfs.namenode.edits.dir---file:/home/hadoop/data/hdfs/edits       //存放编辑日志

dfs.journalnode.edits.dir--/home/hadoop/data/journaldata/jn      //存放编辑日志同步数据

dfs.hosts.exclude--/home/hadoop/app/hadoop-2.6.0-cdh5.4.5/etc/hadoop/excludes  //它是一个文件排除host

 

dfs.hosts.exclude--/home/hadoop/app/hadoop-2.6.0-cdh5.4.5/etc/hadoop/excludes  //它是一个文件排除host

 

等到后面，解压了hadoop-2.6.0-cdh5.4.5的安装包后，再新建。

 

3、进程pid:

export HADOOP_PID_DIR=/home/hadoop/data/pid               //存储hadoop 常驻进程pid

export HADOOP_SECURE_DN_PID_DIR=/home/hadoop/data/pid        //datanode进程 pid

 

4、临时目录：

/home/hadoop/data/tmp

 

下载必备软件

注：1、在CDHNode1节点上安装，使用yum命令 ,参数-y表示，下载过程中的自动回答yes,有兴趣的话，可以试试不加的情况；install表示从网上下载安装。

         2、使用yum命令安装软件必须是root用户。

1、安装lrzsz，可以方便在Xshell上，上传和下载文件，输入rz命令，可以上传文件，sz命令可以从远程主机上下载文件到本地。

 

2、安装ssh服务器。

 

 

3、安装ssh客户端。

 

5、永久关闭防火墙、时间同步

只有在关机重启后，生效。

关机后，重启。再查看下

 

时间同步

1、我们先使用date命令查看当前系统时间

如果系统时间与当前时间不一致，可以按照如下方式修改。

 

2、查看时区设置是否正确。我们设置的统一时区为Asia/Shanghai，如果时区设置不正确，可以按照如下步骤把当前时区修改为上海。

cp /usr/share/zoneinfo/Asia/Shanghai  /etc/localtime 

 

3、下面我们使用ntp(网络时间协议)同步时间。如果ntp命令不存在，则需要在线安装ntp

 

4、安装ntp后，我们可以使用ntpdate命令进行联网时间同步。

ntpdate pool.ntp.org

 

ntpdate pool.ntp.org

 

5、最后我们在使用date命令查看，时间是否同步成功。

由此可见，我们的时钟同步，完成。

 

 

方便操作

1、 首先点击新建按钮，如下；在新建会话属性对话框中输入名称和需要连接的主机ip地址。

2、 接下来点击左侧的用户身份验证，输入要登录主机的用户名和密码，点击确定，此时创建成功。

3、 在打开会话对话框中选中刚创建的CDHNode1，然后点击连接

 

4、 此时连接成功，即可进行远程操作

 

 

5、为了以后方便打开远程主机，我们可以把当前连接的主机添加到链接栏中，只需点击添加到链接栏按钮即可添加

这样以后，就很方便啦。

 

6、上传hadoop-2.6.0-cdh5.4.5.tar.gz安装包和SSH免密码登录 

在master上启动start-dfs.sh，master上启动namenode，在slave1和2上启动datanode。

那这是如何做到的呢？有兴趣，可以看看。这就是要做免密码登录的必要!

这里，三处都回车。

 

 

 

现在，来进入SSH免密码登录的设置。

 

总的来说：

1、  集群里的每台机器自己本身的无密码访问设置

CDHNode1本身、CDHNode2本身、CDHNode3本身

 

CDHNode1本身

 

CDHNode2本身

 

CDHNode3本身

 

1、  集群里的每台机器自己本身的无密码访问设置

CDHNode2与 CDHNode1、CDHNode3与CDHNode1、然后CDHNode1分发~/.ssh/ authorized_keys

 

CDHNode2与 CDHNode1

 

CDHNode3与 CDHNode1

 

cat ~/.ssh/id_rsa.pub | ssh hadoop@CDHNode1 'cat >> ~/.ssh/authorized_keys'

 

 

将CDHNode1的~/.ssh/ authorized_keys，分发给CDHNode2

知识点：用自己写好的脚本，也可以，或者，用scp命令

 

 

scp -r authorized_keys hadoop@CDHNode2:~/.ssh/

 

 

将CDHNode1的~/.ssh/ authorized_keys，分发给CDHNode3

至此，集群间机器完成SSH免密码登录。

 

7、上传jdk-7u79-linux-x64.tar安装包和jdk环境变量配置

若是有自带的java，一定将其卸载。

rpm -qa|grep java命令查出没有

 

注意：

一般在生产上，部署一个集群时候，我们的用户是很多的，比如有hadoop用户、hbase用户、hive用户、zookeeper用户等。。。

  这样，我们若将jdk安装到hadoop用户的主目录下，则出现其他的用户无法使用，很麻烦，

  强烈建议，安装在/usr/local 或 /usr/share

 

实际上，jdk自带的它默认就是安装在这个目录底下，嘿嘿

而我这里，没自带，所以，没对应的java目录。

 

 

好，现在开始上传jdk-7u79-linux-x64.tar.gz

在生产环境里，一般jdk安装在/usr/local或/usr/share。这里，我们选择/usr/share

 

这里要注意，知识点，必须是root用户才可以。

 

改下，uucp。并删除，jdk压缩包

退回到hadoop用户

总结，在实验里，就没分那么多用户了，hadoop用户、hive用户、zookeeper用户、、、

 

配置在这个文件~/.bash_profile，或者也可以，配置在那个全局的文件里，也可以哟。/etc/profile。

#java

 

export JAVA_HOME=/usr/local/jdk/jdk1.8.0_60

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

 

为了偷懒，

 

scp -r .bash_profile hadoop@CDHNode2:~

scp -r .bash_profile hadoop@CDHNode3:~

 

8、HDFS核心配置文件的配置和exclueds文件创立

 

学会技巧，一般，先在NotePad++里写好，

直接传上去。

删除压缩包，留下压缩后的文件夹。

其他两个一样

cd hadoop-2.6.0-cdh5.4.5/etc/Hadoop

rm core-site.xml

rm hadoop-env.sh

rm hdfs-site.xml

rm slaves

rm yarn-env.sh

rm yarn-site.xml

其他两个一样

 

接下来，将在NotePad++里写好的，直接上传。

 

其他两个一样

 

至此，HDFS核心配置文件的配置完成！

在,

现在，该是创建这个文件的时候了

touch /home/hadoop/app/hadoop-2.6.0-cdh5.4.5/etc/hadoop/excludes

 

其他两个一样

 

9、zookeeper-3.4.5-cdh5.4.5.tar.gz的安装、环境变量配置和hadoop-2.6.0-cdh5.4.5的环境变量配置

Zookeeper-3.4.5-cdh5.4.5.tar.gz

注意：hadoop-2.6.0-cdh5.4.5.tar.gz与Zookeeper-3.4.5-cdh5.4.5.tar.gz保持一致。

 

安装在/home/hadoop/app/下，

CDHNode2和3的一样

CDHNode2和3的一样

并删除压缩包，

CDHNode2和3的一样

CDHNode2和3的一样

 

为此，现在需要，对zookeeper-3.4.5-cdh5.4.5/下的zoo.cfg进行，修改配置。

修改地方是

dataDir=/home/hadoop/data/zookeeper

server.1=CDHNode1:2892:3892

server.2=CDHNode2:2892:3892

server.3=CDHNode3:2892:3892

分析：

因为，用到了目录/home/hadoop/data/zookeeper，所以，我们得新建好它。

 

下面，将zookeeper的安装目录放到环境变量里去，以便在任何路径下

这里是~/.bash_profile

CDHNode2和3，都一样

这里，是，把hadoop-2.6.0-cdh5.4.5的环境变量配置好了，算是补的！

 

10、初始化hdfs(一次性操作)

a)      先启动zookeeper,在安装zookeeper的机器上执行./bin/zkServer.sh start

这里安装zookeeper的机器是，CDHNode1、2和3。

 

CDHNode1为F，

 

CDHNode2为L，

 

CDHNode3为F，

总结，初始化一次，就可以了。以后启动，会自带启动。

Zookeeper以后还是要自己启动。

 

 

 

b)      在hadoop-2.6.0-cdh5.4.5启动journalnode（所有journalnode节点都得起）

./sbin/hadoop-daemon.sh start journalnode

这里，CDHNode1、2和3都要做。

 

 

CDHNode2和3一样

c)      主节点(CDHNode1)的hadoop-2.6.0-cdh5.4.5执行

./bin/hdfs namenode -format
./bin/hdfs zkfc -formatZK 
./bin/hdfs namenode

接着，会出现下面问题

buildSupportsSnappy()Z问题，解决链接：

知识点，CDH默认是没有提供native库的，需要我们自己去编译。

提供的是32位，我们需要的是64位。编译过程很复杂，

这里如何去编译呢？这里是个知识点，我就在网上，找个别人已经编译好了的64位。具体见链接： http://download.csdn.net/detail/tongyuehong/8524619

编译好之后的native放到/home/hadoop/app/hadoop-2.6.0-cdh5.4.5/lib/

 

所以呀，看到了，最好还是自己要掌握！！！加油

通过hadoop-2.6.0-cdh5.4.5.src.tar.gz来编译，安装snappy并生成hadoop native本地库。

（大牛的教导：特地开设一个节点，专门来玩玩如apache、cdh这样的hadoop源代码编译，来提升自己的横向能力！并写于博客。）

 

 

去吧，开启一个新的节点，新的起点。

快照恢复

　　CDHNode2、3一样。

　　先去制作native库吧！

 

 

 

 

 

 

 

 

欢迎大家，加入我的微信公众号：大数据躺过的坑        人工智能躺过的坑
 
 
 

同时，大家可以关注我的个人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获

 

      对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071） 

 

 

 

 

 

 

 

 

 

 

 

 

posted @ 2016-09-06 16:59  大数据和AI躺过的坑  阅读(5368)  评论(0)  编辑  收藏  举报