2022.4.13学习成果

四：在Master节点上安装hadoop

1）解压缩到/usr/local/src目录下

master机器：

[root@master ~]# rm -r -f /usr/local/src/hadoop

[root@master ~]# tar -zxvf /opt/software/hadoop-2.7.1.tar.gz -C /usr/local/src/

 

2）重命名

master机器：

[root@master ~]# mv /usr/local/src/hadoop-2.7.1 /usr/local/src/hadoop

 

3）配置hadoop环境变量

 

master机器： 

[root@master ~]# vi /etc/profile

#打开文档后输入i进入插入模式，然后在文档末尾加入以下配置

# set hadoop environment

export HADOOP_HOME=/usr/local/src/hadoop

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

 

 

4）使配置的hadoop的环境变量生效

 

master机器：

[root@master ~]# source /etc/profile

 

5）配置hadoop-env.sh

 

master机器：

[root@master ~]# cd  /usr/local/src/hadoop/etc/hadoop/

[root@master hadoop]# vi hadoop-env.sh

#打开文档后输入i进入插入模式，找到JAVA_HOME这一

修改为

export JAVA_HOME=/usr/local/src/java

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

 

/6) 配置core-site.xml(核心网站)

 

master机器：

[root@master hadoop]# vi core-site.xml

#打开文档后输入i进入插入模式，然后在文档找到configuration标签，在该标签中加入以下配置

<property>

<name>fs.defaultFS</name>

<value>hdfs://master:9000</value>

</property>

<property>

<name>io.file.buffer.size</name>

<value>131072</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/src/hadoop/tmp</value>

</property>

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

 

　备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

 

 

7) 配置hdfs-site.xml

[root@master hadoop]# vi hdfs-site.xml

#打开文档后输入i进入插入模式，然后在文档找到configuration标签，在该标签中加入以下配置

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/src/hadoop/dfs/name</value>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/src/hadoop/dfs/data</value>

</property>

<property>

<name>dfs.replication</name>   

<value>2</value>

</property>

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

修改Hadoop中HDFS的配置，配置的备份方式默认为2

 

 

8) 配置yarn-site.xml

 

master机器：

[root@master hadoop]# vi yarn-site.xml

#打开文档后输入i进入插入模式，然后在文档找到configuration标签，在该标签中加入以下配置

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>master:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>master:8088</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>            

 <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

 

9) 配置mapred-site.xml

 

master机器：

[root@master hadoop]# cp mapred-site.xml.template mapred-site.xml

[root@master hadoop]# vi mapred-site.xml

#打开文档后输入i进入插入模式，然后在文档找到configuration标签，在该标签中加入以下配置

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

 <value>master:10020</value>

</property>

<property>

   <name>mapreduce.jobhistory.webapp.address</name>

  <value>master:19888</value>

</property>

 

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

 

 

10) 配置masters文件

 

master机器：

[root@master hadoop]# vi masters

#打开文档后输入i进入插入模式，在该文档中加入以下配置

master

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。

 

11) 配置slaves文件

 

master机器：

[root@master hadoop]# vi slaves

#打开文档后输入i进入插入模式，清空该文档的内容，在该文档中加入以下配置

slave1

slave2 

#按Esc键退出插入模式，输入:wq!，按下回车键完成文档修改操作。 

至此 配置文件基本配置完毕。

 

12) 新建目录

 

master机器：

[root@master hadoop]# mkdir /usr/local/src/hadoop/tmp

[root@master hadoop]# mkdir -p /usr/local/src/hadoop/dfs/name

[root@master hadoop]# mkdir -p /usr/local/src/hadoop/dfs/data

 

 

13) 修改/usr/local/src/hadoop目录的权限

 

master机器：

[root@master hadoop]# chown -R hadoop:hadoop /usr/local/src/hadoop/

 

14) 将master上的hadoop安装文件及环境变量同步到slave1 slave2

 

master机器：

[root@master hadoop]# cd

[root@master ~]# scp -r /usr/local/src/hadoop/ root@slave1:/usr/local/src/

root@slave1's password: （输入密码password，输入不会显示，输完按回车即可）

[root@master ~]# scp -r /usr/local/src/hadoop/ root@slave2:/usr/local/src/

 

[root@master ~]# scp /etc/profile root@slave1:/etc/

root@slave1's password: （输入密码password，输入不会显示，输完按回车即可）

profile                              100% 2122     3.6MB/s   00:00

[root@master ~]# scp /etc/profile root@slave2:/etc/

 

 

15) 使配置的hadoop的环境变量生效

 

master机器：

[root@master ~]# source /etc/profile

 

slave1机器：

[hadoop@slave1 ~]$ su - root

密码：（输入密码password，输入不会显示，输完按回车即可）

上一次登录：二 8月 25 09:31:06 CST 2020从 192.168.25.240pts/1 上

[root@slave1 ~]$ source /etc/profile

slave2机器：同slave1

 

16）修改/usr/local/src/hadoop目录的权限

 

slave1机器:

[root@slave1 ~]# chown -R hadoop:hadoop /usr/local/src/hadoop/

slave2机器：同slave1

 

17）切换到hadoop用户

 

master机器：

[root@master ~]# su - hadoop

上一次登录：二 8月 25 09:46:50 CST 2020pts/0 上 

slave1机器：同master

slave2机器：同master