每日总结40

大数据技术与应用实验作业

实验名称：Hadoop伪分布模式安装

班级：信2205-3      学号：20223978        姓名：洪娜       

一、 实验目的

1、了解Hadoop的3种运行模式

2、熟练掌握Hadoop伪分布模式安装流程

3、培养独立完成Hadoop伪分布安装的能力

 

 

二、 实验过程

1. 创建一个用户，名为zhangyu，并为此用户创建home目录，此时会默认创建一个与zhangyu同名的用户组。

为zhangyu用户设置密码

 

 

将zhangyu用户的权限，提升到sudo超级用户级别

2.首先来配置SSH免密码登陆

 

SSH免密码登陆需要在服务器执行以下命令，生成公钥和私钥对

 

切换到~/.ssh目录下，可以看到~/.ssh目录下的文件

 

下面在~/.ssh目录下，创建一个空文本，名为authorized_keys

将存储公钥文件的id_rsa.pub里的内容，追加到authorized_keys中

执行ssh localhost测试ssh配置是否正确

第一次使用ssh访问，会提醒是否继续连接，输入“yes"继续进行，执行完以后退出

 

 

 

3.下面首先来创建两个目录，用于存放安装程序及数据。

 

并为/apps和/data目录切换所属的用户为zhangyu及用户组为zhangyu

切换到根目录下，执行 ls -l 命令，可以看到根目录下/apps和/data目录所属用户及用户组已切换为zhangyu:zhangyu

 

4.配置HDFS。

创建/data/hadoop1目录，用来存放相关安装工具，如jdk安装包jdk-7u75-linux-x64.tar.gz及hadoop安装包hadoop-2.6.0-cdh5.4.5.tar.gz。

切换目录到/data/hadoop1目录，使用wget命令，下载所需的hadoop安装包jdk-7u75-linux-x64.tar.gz及hadoop-2.6.0-cdh5.4.5.tar.gz。

 

 

5.安装jdk。将/data/hadoop1目录下jdk-7u75-linux-x64.tar.gz 解压缩到/apps目录下。

 

其中，tar -xzvf 对文件进行解压缩，-C 指定解压后，将文件放到/apps目录下。

 

切换到/apps目录下，我们可以看到目录下内容如下：

 

下面将jdk1.7.0_75目录重命名为java，执行

 

6.下面来修改环境变量：系统环境变量或用户环境变量。我们在这里修改用户环境变量

打开存储环境变量的文件。空几行，将java的环境变量，追加进用户环境变量中。

 

输入Esc, 进入vim命令模式，输入 :wq !进行保存。

 

让环境变量生效。

执行source命令，让java环境变量生效。执行完毕后，可以输入java，来测试环境变量是否配置正确。如果出现下面界面，则正常运行。

 

 

7.下面安装hadoop，切换到/data/hadoop1目录下，将hadoop-2.6.0-cdh5.4.5.tar.gz解压缩到/apps目录下。

为了便于操作，我们也将hadoop-2.6.0-cdh5.4.5重命名为hadoop。

8.修改用户环境变量，将hadoop的路径添加到path中。先打开用户环境变量文件。

 

验证hadoop环境变量配置是否正常

 

9.下面来修改hadoop本身相关的配置。首先切换到hadoop配置目录下。

10.输入vim /apps/hadoop/etc/hadoop/hadoop-env.sh，打开hadoop-env.sh配置文件。

将下面JAVA_HOME追加到hadoop-env.sh文件中。

 

11.输入vim /apps/hadoop/etc/hadoop/core-site.xml，打开core-site.xml配置文件。

添加下面配置到<configuration>与</configuration>标签之间。

 

这里有两项配置：

 

一项是hadoop.tmp.dir，配置hadoop处理过程中，临时文件的存储位置。这里的目录/data/tmp/hadoop/tmp需要提前创建。另一项是fs.defaultFS，配置hadoop HDFS文件系统的地址。

12.输入vim /apps/hadoop/etc/hadoop/hdfs-site.xml，打开hdfs-site.xml配置文件。添加下面配置到<configuration>与</configuration>标签之间。

配置项说明：

 

dfs.namenode.name.dir，配置元数据信息存储位置；

 

dfs.datanode.data.dir，配置具体数据存储位置；

 

dfs.replication，配置每个数据库备份数，由于目前我们使用1台节点，所以，设置为1，如果设置为2的话，运行会报错。

 

dfs.permissions.enabled，配置hdfs是否启用权限认证

 

另外/data/tmp/hadoop/hdfs路径，需要提前创建，所以我们需要执行

13.输入vim /apps/hadoop/etc/hadoop/slaves，打开slaves配置文件。将集群中slave角色的节点的主机名，添加进slaves文件中。目前只有一台节点，所以slaves文件内容为：

 

localhost

 

14.下面格式化HDFS文件系统。执行：

15.切换目录到/apps/hadoop/sbin目录下。

16.启动hadoop的hdfs相关进程。

17.输入jps查看HDFS相关进程是否已经启动。

 

18.下面可以再进一步验证HDFS运行状态。先在HDFS上创建一个目录。

19.执行下面命令，查看目录是否创建成功。

 

20.下面来配置MapReduce相关配置。再次切换到hadoop配置文件目录

21.下面将mapreduce的配置文件mapred-site.xml.template，重命名为mapred-site.xml。

 

22.输入vim /apps/hadoop/etc/hadoop/mapred-site.xml，打开mapred-site.xml配置文件。

将mapreduce相关配置，添加到<configuration>标签之间。

 

23.输入vim /apps/hadoop/etc/hadoop/yarn-site.xml，打开yarn-site.xml配置文件。

将yarn相关配置，添加到<configuration>标签之间。

 

24.下面来启动计算层面相关进程，切换到hadoop启动目录。

25.执行命令，启动yarn。

 

26.输入jps，查看当前运行的进程。

 

27.执行测试。

 

切换到/apps/hadoop/share/hadoop/mapreduce目录下。

然后，在该目录下跑一个mapreduce程序，来检测一下hadoop是否能正常运行。

这个程序是计算数学中的pi值。当然暂时先不用考虑数据的准确性。当你看到下面流程的时候，表示程序已正常运行，hadoop环境也是没问题的。

至此，Hadoop 伪分布模式已经安装完成!

三、实验心得

在章鱼学院平台完成Hadoop实验后，我对大数据技术的理解更加深入。通过实践，我掌握了Hadoop集群的配置与启动流程，包括关键文件的修改、SSH免密登录设置以及服务验证。实验过程中，虽然遇到了SSH连接和HDFS启动等问题，但通过查阅日志和调整配置，最终成功解决了这些挑战。这次实验让我深刻体会到分布式系统的复杂性，也增强了我排查问题的能力。章鱼学院提供的预配置环境让我能专注于Hadoop核心知识的学习，避免了繁琐的环境搭建，极大提升了学习效率。未来，我将继续探索Hadoop生态的更多组件，如MapReduce和Hive，进一步提升大数据处理能力。