Hadoop伪分布模式安装

Hadoop伪分布模式安装
一、实验目的
1、了解Hadoop的3种运行模式
2、熟练掌握Hadoop伪分布模式安装流程
3、培养独立完成Hadoop伪分布安装的能力
二、实验过程
为zhangyu用户设置密码，执行下面的语句：
将zhangyu用户的权限，提升到sudo超级用户级别：

后续操作，我们需要切换到zhangyu用户下来进行操作。
首先来配置SSH免密码登陆
SSH免密码登陆需要在服务器执行以下命令，生成公钥和私钥对
此时会有多处提醒输入在冒号后输入文本，这里主要是要求输入ssh密码以及密码的放置位置。在这里，只需要使用默认值，按回车即可。

此时ssh公钥和私钥已经生成完毕，且放置在_{/.ssh目录下。切换到}/.ssh目录下：
下面在~/.ssh目录下，创建一个空文本，名为authorized_keys。
将存储公钥文件的id_rsa.pub里的内容，追加到authorized_keys中。

创建两个目录，用于存放安装程序及数据。
并为/apps和/data目录切换所属的用户为zhangyu及用户组为zhangyu。

两个目录的作用分别为：/apps目录用来存放安装的框架，/data目录用来存放临时数据、HDFS数据、程序代码或脚本。
切换到根目录下，执行 ls -l 命令
可以看到根目录下/apps和/data目录所属用户及用户组已切换为zhangyu:zhangyu。

配置HDFS。
创建/data/hadoop1目录，用来存放相关安装工具，如jdk安装包jdk-7u75-linux-x64.tar.gz及hadoop安装包hadoop-2.6.0-cdh5.4.5.tar.gz。

切换目录到/data/hadoop1目录，使用wget命令，下载所需的hadoop安装包jdk-7u75-linux-x64.tar.gz及hadoop-2.6.0-cdh5.4.5.tar.gz。

安装jdk。将/data/hadoop1目录下jdk-7u75-linux-x64.tar.gz 解压缩到/apps目录下。
tar -xzvf /data/hadoop1/jdk-7u75-linux-x64.tar.gz -C /apps

其中，tar -xzvf 对文件进行解压缩，-C 指定解压后，将文件放到/apps目录下。
切换到/apps目录下，我们可以看到目录下内容如下：

下面将jdk1.7.0_75目录重命名为java，执行：

下面来修改环境变量：系统环境变量或用户环境变量。我们在这里修改用户环境变量。
输入上面的命令，打开存储环境变量的文件。空几行，将java的环境变量，追加进用户环境变量中。
执行source命令，让java环境变量生效。执行完毕后，可以输入java，来测试环境变量是否配置正确。如果出现下面界面，则正常运行。

完整展示：

下面安装hadoop，切换到/data/hadoop1目录下，将hadoop-2.6.0-cdh5.4.5.tar.gz解压缩到/apps目录下。
cd /data/hadoop1
tar -xzvf /data/hadoop1/hadoop-2.6.0-cdh5.4.5.tar.gz -C /apps/

为了便于操作，我们也将hadoop-2.6.0-cdh5.4.5重命名为hadoop。

修改用户环境变量，将hadoop的路径添加到path中。先打开用户环境变量文件。

验证hadoop环境变量配置是否正常：

下面来修改hadoop本身相关的配置。首先切换到hadoop配置目录下。
输入vim /apps/hadoop/etc/hadoop/hadoop-env.sh，打开hadoop-env.sh配置文件。

将下面JAVA_HOME追加到hadoop-env.sh文件中。

输入vim /apps/hadoop/etc/hadoop/core-site.xml，打开core-site.xml配置文件。

添加下面配置到与标签之间。

这里有两项配置：
一项是hadoop.tmp.dir，配置hadoop处理过程中，临时文件的存储位置。这里的目录/data/tmp/hadoop/tmp需要提前创建。

另一项是fs.defaultFS，配置hadoop HDFS文件系统的地址。

输入vim /apps/hadoop/etc/hadoop/hdfs-site.xml，打开hdfs-site.xml配置文件。

添加下面配置到与标签之间。

配置项说明：
dfs.namenode.name.dir，配置元数据信息存储位置；
dfs.datanode.data.dir，配置具体数据存储位置；
dfs.replication，配置每个数据库备份数，由于目前我们使用1台节点，所以，设置为1，如果设置为2的话，运行会报错。
dfs.permissions.enabled，配置hdfs是否启用权限认证
另外/data/tmp/hadoop/hdfs路径，需要提前创建，所以我们需要执行

输入vim /apps/hadoop/etc/hadoop/slaves，打开slaves配置文件。

将集群中slave角色的节点的主机名，添加进slaves文件中。目前只有一台节点，所以slaves文件内容为：

下面格式化HDFS文件系统。执行：
hadoop namenode -format

切换目录到/apps/hadoop/sbin目录下。
启动hadoop的hdfs相关进程。
输入jps查看HDFS相关进程是否已经启动。

下面可以再进一步验证HDFS运行状态。先在HDFS上创建一个目录。
执行下面命令，查看目录是否创建成功。

验证结果：

下面来配置MapReduce相关配置。再次切换到hadoop配置文件目录。
下面将mapreduce的配置文件mapred-site.xml.template，重命名为mapred-site.xml。

输入vim /apps/hadoop/etc/hadoop/mapred-site.xml，打开mapred-site.xml配置文件。

将mapreduce相关配置，添加到标签之间。

23.输入vim /apps/hadoop/etc/hadoop/yarn-site.xml，打开yarn-site.xml配置文件。

将yarn相关配置，添加到标签之间。

下面来启动计算层面相关进程，切换到hadoop启动目录。
执行命令，启动yarn。
输入jps，查看当前运行的进程。

执行测试。
切换到/apps/hadoop/share/hadoop/mapreduce目录下。
然后，在该目录下跑一个mapreduce程序，来检测一下hadoop是否能正常运行。

三、实验心得
通过本次实验，我掌握了Hadoop伪分布模式的完整安装流程，对Hadoop的三种运行模式（本地模式、伪分布模式、全分布模式）有了更清晰的认识。实验中，我按照步骤完成了用户权限配置、SSH免密登录、JDK与Hadoop的安装与环境变量配置、HDFS与YARN的核心配置文件修改、文件系统格式化及服务启动等操作。
在配置过程中，我遇到了一些细节问题，例如环境变量未及时生效、目录权限设置错误、slaves文件主机名配置遗漏等。通过仔细检查配置文件和命令行输出，我逐步排查并解决了这些问题，加深了对Hadoop运行机制的理解。
此外，我还学会了使用jps命令查看Hadoop相关进程，并通过在HDFS上创建目录和运行MapReduce测试程序来验证安装是否成功。整个实验不仅锻炼了我的动手能力，也让我体会到大数据平台搭建的严谨性与系统性，为后续学习Hadoop生态圈其他组件（如HBase、Hive等）打下了坚实基础。