Part1-0：开发环境搭建(1)----Hadoop集群

HBase集群搭建

需要三台服务器：分别是hadoop001、hadoop002、hadoop003（三台的用户名都是hadoop001）

配置SSH，关掉防火墙。

安装SSH

sudo yum install ssh

ssh -keygen -t rsa  全部回车

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

ssh localhost(验证有没有配置成功)

将id_rsa.pub拷备到hadoop002，hadoop003上，并通过ssh 命令测试是否可以免密码登录。

scp -p ~/.ssh/id_rsa.pub hadoop001@hadoop002:~/.ssh/authorized_keys

ssh hadoop001@hadoop002(这里的hadoop001是hadoop002的用户名)

首先下载开源包，下载地址如下：

http://archive.cloudera.com/cdh5/cdh/5/

版本号

jdk-8u161-linux-x64

CentOs 6.4

hadoop-2.6.0-cdh5.7.0

hbase-1.2.0-cdh5.7.0

zookeeper-3.4.5-cdh5.7.0

hosts文件修改

 

并把他们解压到各节点的指定目录，然后.bash_profile文件配置（配置完后需要执行一下source或者重启）

export JAVA_HOME=/home/hadoop001/app/jdk1.8.0_161

export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/home/hadoop001/app/hadoop-2.6.0-cdh5.7.0

export PATH=$HADOOP_HOME/bin:$PATH

export ZOOKEEPER_HOME=/home/hadoop001/app/zookeeper-3.4.5-cdh5.7.0

export PATH=$ZOOKEEPER_HOME/bin:$PATH

export HIVE_HOME=/home/hadoop001/app/hive-1.1.0-cdh5.7.0

export PATH=$HIVE_HOME/bin:$PATH

export SQOOP_HOME=/home/hadoop001/app/sqoop-1.4.6-cdh5.7.0

export PATH=$SQOOP_HOME/bin:$PATH

export HBASE_HOME=/home/hadoop001/app/hbase-1.2.0-cdh5.7.0

export PATH=$HBASE_HOME/bin:$PATH

 

Hadoop集群搭建:

在hadoop001节点/home/hadoop001/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop目录下修改配置文件如下

vi hadoop-env.sh

添加一下JAVA_HOME环境变量

 

vi core-site.xml

 

vi hdfs-site.xml

 

vi slaves

 

Vi yarn-site.xml

 

配置完成后，在hadoop/home/hadoop001/app/hadoop-2.6.0-cdh5.7.0/sbin目录下启动

start-all.sh文件

格式化文件系统（仅第一次执行即可，不要重复执行）：hadoop(或用hdfs) namenode -format

 

启动成功就可以把/home/hadoop001/app/hadoop-2.6.0-cdh5.7.0文件分发到hadoop002、hadoop003的app目录下，然后在hadoop002和hadoop003进行启动测试

scp -r hadoop001@hadoop002:home/hadoop001/app/ hadoop-2.6.0-cdh5.7.0    /home/hadoop001/app/ hadoop-2.6.0-cdh5.7.0