Hadoop伪分布式安装

 

1. 创建一个用户，名为zhangyu，并为此用户创建home目录，此时会默认创建一个与zhangyu同名的用户组。为zhangyu用户设置密码，将zhangyu用户的权限，提升到sudo超级用户级别，切换到zhangyu用户下来进行操作。

 

1. 配置SSH免密码登陆

 

1. 创建两个目录，用于存放安装程序及数据。并为/apps和/data目录切换所属的用户为zhangyu及用户组为zhangyu，两个目录的作用分别为：/apps目录用来存放安装的框架，/data目录用来存放临时数据、HDFS数据、程序代码或脚本。

 

1. 配置HDFS。

 

1. 安装jdk。将/data/hadoop1目录下jdk-7u75-linux-x64.tar.gz 解压缩到/apps目录下。

 

1. 下面来修改环境变量：系统环境变量或用户环境变量。我们在这里修改用户环境变量。

 

1. 安装hadoop，切换到/data/hadoop1目录下，将hadoop-2.6.0-cdh5.4.5.tar.gz解压缩到/apps目录下。重命名为hadoop.

 

1. 修改用户环境变量，将hadoop的路径添加到path中。

 

1. 修改hadoop本身相关的配置。切换到hadoop配置目录下。打开hadoop-env.sh配置文件。JAVA_HOME追加到hadoop-env.sh文件中。

 

1. 输入vim /apps/hadoop/etc/hadoop/core-site.xml，打开core-site.xml配置文件。

 

1. 输入vim /apps/hadoop/etc/hadoop/hdfs-site.xml，打开hdfs-site.xml配置文件。

 

1. 输入vim /apps/hadoop/etc/hadoop/slaves，打开slaves配置文件。

 

1. 格式化HDFS文件系统。切换目录到/apps/hadoop/sbin目录下，启动hadoop的hdfs相关进程。输入jps查看HDFS相关进程已经启动。

 

1. 进一步验证HDFS运行状态。先在HDFS上创建一个目录。查看目录是否创建成功。

 

1. 配置MapReduce相关配置。再次切换到hadoop配置文件目录。将mapreduce的配置文件mapred-site.xml.template，重命名为mapred-site.xml。打开mapred-site.xml配置文件。

 

1. 启动计算层面相关进程，切换到hadoop启动目录。执行命令，启动yarn。输入jps，查看当前运行的进程。跑一个mapreduce程序，来检测一下hadoop是否能正常运行。