Linux安装 hadoop-3.3.1

安装ssh服务
ubuntu中默认是没有安装ssh server的,只有 ssh client,可以使用如下命令安装:
sudo apt-get install ssh openssh-server
然后设置ssh免密码登陆,执行如下命令:

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
#验证是否成功 输入
ssh localhost
#如果可以不需要密码登录则表示成功,否则就是失败,需要去查找原因,如果成功后 输入exit退出
1
2
3
4
5
成功之后截图如下:


三、安装Hadoop
1.下载Hadoop安装包
可以到如下网址下载:http://apache.stu.edu.tw/hadoop/common/hadoop-3.1.1/

2.解压
使用如下命令解压缩Hadoop安装包:
tar -zxvf hadoop-3.1.1.tar.gz
解压完成之后出现Hadoop-3.1.1的文件下如下:

3.配置Hadoop中相应的文件
我使用的是Hadoop的伪分布式,因此需要配置的文件如下,hadoop-env.sh,core-site.xml,mapred-site.xml.template,hdfs-site.xml,所有的文件均位于hadoop3.1.1/etc/hadoop下面,具体需要的配置如下:
(1)core-site.xml 配置如下:

(2)mapred-site.xml.template配置如下:

(3)hdfs-site.xml配置如下:

注:如果运行Hadoop的时候发现找不到jdk,可以先使用echo $JAVA_HOME查看java安装路径,然后直接将jdk的路径放置在hadoop.env.sh里面。具体如下:
export JAVA_HOME="/usr/lib/jvm/java-11-openjdk-amd64"

posted on 2021-09-19 20:12  sean1246  阅读(25)  评论(0编辑  收藏  举报