大数据

安装hadoop

在 hadoop102 安装 Hadoop
Hadoop 下载地址:https://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/


1 ) 用 XShell 文件传输 工具将 hadoop-3.1.3.tar.gz 导入到 opt 目录下面的 software 文件夹下面
注:我在上一篇文章中将hadoop与jdk一起导入了,如果按照我上一篇文章一步步做的就不需要做这一步了

 

2 ) 进入到 Hadoop 安装包路径下
[leokadia@hadoop102 ~]$ cd /opt/software/

3 ) 解压安装文件到/opt/module 下面
[leokadia@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/


4 ) 查看是否解压成功
[leokadia@hadoop102 software]$ ls /opt/module/
hadoop-3.1.3


5 )进入hadoop
进入hadoop解压位置
[leokadia@hadoop102 software]$ cd ..
[leokadia@hadoop102 opt]$ cd module
[leokadia@hadoop102 module]$ ll

总用量 0
drwxr-xr-x. 9 leokadia leokadia 149 9月 12 2019 hadoop-3.1.3
drwxr-xr-x. 7 leokadia leokadia 245 4月 2 2019 jdk1.8.0_212
1
2
3

进入hadoop-3.1.3
[leokadia@hadoop102 module]$ cd hadoop-3.1.3


6 ) 将 Hadoop 添加到环境变量
(1)获取 Hadoop 安装路径
[leokadia@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
(2)打开/etc/profile.d/my_env.sh 文件
[leokadia@hadoop102 hadoop-3.1.3]$ sudo vim /etc/profile.d/my_env.sh
➢ 在 my_env.sh 文件末尾添加如下内容:(shift+g)

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
1
2
3
4
➢ 保存并退出: :wq

 

(3)让修改后的文件生效
[leokadia@hadoop102 hadoop-3.1.3]$ source /etc/profile

6 ) 测试是否安装成功
[leokadia@hadoop102 hadoop-3.1.3]$ hadoop version
Hadoop 3.1.3

 

7 ) 重启 ( 如果 Hadoop 命令不能用 再重启 虚拟机 )
[leokadia@hadoop102 hadoop-3.1.3]$ sudo reboot


拓展: Hadoop 目录 结构


1 ) 查看 Hadoop 目录结构
[leokadia@hadoop102 hadoop-3.1.3]$ ll

总用量 176
drwxr-xr-x. 2 leokadia leokadia 183 9月 12 2019 bin
drwxr-xr-x. 3 leokadia leokadia 20 9月 12 2019 etc
drwxr-xr-x. 2 leokadia leokadia 106 9月 12 2019 include
drwxr-xr-x. 3 leokadia leokadia 20 9月 12 2019 lib
drwxr-xr-x. 4 leokadia leokadia 288 9月 12 2019 libexec
-rw-rw-r--. 1 leokadia leokadia 147145 9月 4 2019 LICENSE.txt
-rw-rw-r--. 1 leokadia leokadia 21867 9月 4 2019 NOTICE.txt
-rw-rw-r--. 1 leokadia leokadia 1366 9月 4 2019 README.txt
drwxr-xr-x. 3 leokadia leokadia 4096 9月 12 2019 sbin
drwxr-xr-x. 4 leokadia leokadia 31 9月 12 2019 share
1
2
3
4
5
6
7
8
9
10
11
2 ) 重要目录
(1)bin 目录:存放对 Hadoop 相关服务(hdfs,yarn,mapred)进行操作的脚本
(2)etc 目录:Hadoop 的配置文件目录,存放 Hadoop 的配置文件
(3)lib 目录:存放 Hadoop 的本地库(对数据进行压缩解压缩功能)
(4)sbin 目录:存放启动或停止 Hadoop 相关服务的脚本
(5)share 目录:存放 Hadoop 的依赖 jar 包、文档、和官方案例

posted @ 2021-09-03 23:07  大风吹爱护  阅读(21)  评论(0编辑  收藏  举报