Ubuntu20.04 或者Manjaro下安装Hadoop 2.9.2

ubuntu manjaro 上安装hadoop

首先使用虚拟机安装完ubuntu或者manjaro，下面使用的是ubuntu 20.04系统，Hadoop2.9.2

准备软件

  • Hadoop 2.9.2
  • openjdk-8-jre
  • vim
  • openssh-service

hadoop可以去官方下载

hadoop下载地址

下载完成之后，进入linux系统

photo1

下面是步骤

更新系统软件

sudo apt update

更新完成之后，安装openjdk以及vim


sudo apt install vim

sudo apt install openjdk-8-jdk

安装完成vim,openjdk-8，openssh-service，以及下载完hadoop之后，下面的安装方法，ubuntu和manjaro都适用。

创建hadooop用户并且更改hadoop用户密码，使用自己的密码就可以。

//创建hadoop用户
sudo adduser hadoop

//更改hadoop用户密码
sudo passwd hadoop

以上的配置完成之后，使用hadoop用户

su - hadoop

切换成hadoop之后，设置ssh免密登录


ssh-keygen -t rsa 

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

chmod 640 ~/.ssh/authorized_keys

然后试试ssh localhost，查看是否能够免密登录

免密登录图片

如果遇到22端口被拒绝的情况，很有可能是ssh服务并没有开启。
切换成exit退出当前用户，使用主用户
输入sudo service ssh start进行服务的开启。如果显示没有该服务，那么可以确定系统并没有安装ssh服务，去安装服务。

完成这些之后，把下载的Hadoop安装包复制到hadoop的家目录

photo3

然后开始解压到本目录

tar -zxvf hadoop-2.9.2.tar.gz

解压完成之后，修改一下hadoop目录的名称。

mv hadoop-2.9.2 hadoop

修改bash的配置信息

vim .bashrc

然后把信息复制到最下面的地方

# JAVA_HOME对应你自己的java home路径

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/
export HADOOP_HOME=/home/hadoop/hadoop
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

复制后的结果

怎样看java home路径？
输入whereis java
找到找到路径之后，使用ls -la一个个进行查找，下面的图片就是查找的过程
找到之后，更改为自己的java home目录即可

photo4

完成配置之后，使用source .bashrc更新即可

photo5

更新hadoop的JAVA_HOME路径vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh

photo6

更改java路径为

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64/

photo7

更改完之后，创建两个目录

mkdir -p ~/hadoopdata/hdfs/namenode 
mkdir -p ~/hadoopdata/hdfs/datanode

然后更改几个文件

  • core-site.xml
  • hdfs-site.xml
  • mapred-site.xml

  • 这个文件需要复制，cp $HADOOP_HOME/etc/hadoop/mapred-site.xml.template $HADOOP_HOME/etc/hadoop/mapred-site.xml

  • yarn-site.xml

vim使用方法：

  • i,a 触发编辑模式
  • esc 触发命令行模式
  • :wq保存并退出
  • :wq!强制保存并退出
  • :q!强制退出，不保存

core-site.xml文件

vim $HADOOP_HOME/etc/hadoop/core-site.xml

core-site.xml文件的添加内容如下：


<configuration>
	<property>
   		<name>fs.defaultFS</name>
      <value>hdfs://localhost:9000</value>
  </property>
</configuration>

core-site.xml

hdfs-site.xml文件

vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

hdfs-site.xml文件添加内容如下：

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
     <property>
       	<name>dfs.name.dir</name>
       	<value>file:///home/hadoop/hadoopdata/hdfs/namenode</value>
     </property>
     <property>
      	<name>dfs.data.dir</name>
     	<value>file:///home/hadoop/hadoopdata/hdfs/datanode</value>
     </property>
</configuration>

hdfs-site.xml

mapred-site.xml文件

vim $HADOOP_HOME/etc/hadoop/mapred-site.xml
mapred-site.xml 文件添加内容如下：

<configuration>
   <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
</configuration>

mapred-site.xml

yarn-site.xml文件

vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

yarn-site.xml 文件添加内容如下：

<configuration>
   <property>
     <name>yarn.nodemanager.aux-services</name>
     <value>mapreduce_shuffle</value>
   </property>
</configuration>

yarn-site.xml

完成之后，格式化节点信息

hdfs namenode -format

如果你的输出是以下信息，那就证明你初始化成功了

photo8

然后启动dfs

start-dfs.sh

启动后的截图:

photo9

最后启动yarn

start-yarn.sh

启动成功截图如下

10

最后，在控制台中输入jps，应该会出现以下进程名称

11

这样，你就成功地进行配置了hadoop

  • http://localhost:50070可以查看NameNode 和 Datanode 信息

参考这篇文章
有些地方行不通，进行了一定的修改。

posted @ 2020-12-12 22:36  野生的Lemon柠檬  阅读(712)  评论(0)  编辑  收藏  举报

呱呱呱呱呱🐸