Hadoop环境搭建

一、JDK安装

1、解压安装包

[root@hadoop-master001 ~]# tar -xzvf jdk-8u74-linux-x64.tar.gz -C /root/app

2、配置环境变量

vim /etc/profile

...
export JAVA_HOME=/root/app/jdk1.8.0_74
export PATH=$PATH:$JAVA_HOME/bin

3、立即生效

[root@hadoop-master001 ~]# source /etc/profile

二、ssh免密登录

1、生成.ssh文件夹

[root@hadoop-master001 ~]# ssh-keygen -t rsa

在这个文件夹中生成公匙和私匙：

[root@hadoop-master001 .ssh]# ls
id_rsa  id_rsa.pub  known_hosts

2、生成authorized_keys文件

[root@hadoop-master001 .ssh]# cat id_rsa.pub >> authorized_keys
[root@hadoop-master001 .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts

3、修改权限

[root@hadoop-master001 .ssh]# chmod 600  authorized_keys

二、Hadoop安装

（一）目录说明

bin：hadoop客户端名单
etc/hadoop：hadoop相关的配置文件
sbin：启动hadoop相关进程的脚本
share：常用例子

（二）配置

1、解压安装包

[root@hadoop-master001 software]# tar -xzvf hadoop-2.6.0-cdh5.15.1.tar.gz -C /root/app

2、环境变量配置

...
export HADOOP_HOME=/root/app/hadoop-2.6.0-cdh5.15.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

3、hadoop-env.sh

vim /root/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/hadoop-env.sh

...
# The java implementation to use.
#export JAVA_HOME=${JAVA_HOME}
JAVA_HOME=/root/app/jdk1.8.0_74
...

4、core-site.xml

vim /root/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop-master001:8020</value>
    </property>
</configuration>

5、hdfs-site.xml

/root/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/hdfs-site.xml

<property>
        <name>dfs.replication</name>
        <value>1</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/root/app/temp</value>
</property>

因为是单节点，所以副本系数配置为1即可。另外就是需要配置nameNode的一个存放地址，默认的存放地址tem每次机器重启就会被清空。注意的是应该先创建该目录。

6、slaves

/root/app/hadoop-2.6.0-cdh5.15.1/etc/hadoop/slaves

hadoop-master001

三、启动

1、格式化

在启动之前应该先进行格式化操作：

[root@hadoop-master001 temp]# hdfs namenode -format

此时，temp目录中已经有内容了。

2、启动

进入/root/app/hadoop-2.6.0-cdh5.15.1/sbin下执行：

[root@hadoop-master001 sbin]# ./start-dfs.sh 

此时验证一下是否启动成功：

[root@hadoop-master001 sbin]# jps
98386 Jps
96805 NameNode
97085 DataNode
97518 SecondaryNameNode

另外，可以通过web页面进行访问默认地址启动在50070端口：

 如果不能访问，请注意自己的防火墙是否关闭。

3、关闭集群

在/root/app/hadoop-2.6.0-cdh5.15.1/sbin文件下，执行：

[root@hadoop-master001 sbin]# ./stop-dfs.sh

实际上在start-dfs.sh或者stop-dfs.sh文件中都是执行的hadoop-daemons.sh命令

...
"$HADOOP_PREFIX/sbin/hadoop-daemons.sh" \
  --config "$HADOOP_CONF_DIR" \
  --hostnames "$NAMENODES" \
  --script "$bin/hdfs" stop namenode
...