Hadoop环境搭建

Hadoop环境搭建

安装前准备

查看防火墙状态,若处于激活(inaction)状态,关闭防火墙

sudo ufw status

查看时间服务器是否运行,若NTP尚未安装就运行安装命令

dpkg -l | grep ntp			#检查是否安装
apt-get install ntp			#NTP安装

安装ssh和设置免密登录

1.安装ssh服务

ssh服务端openssh-server默认没有安装,所以要安装ssh服务

apt-get install openssh-server 	#安装ssh服务
/etc/init.d/ssh restart			#重启ssh服务

可以用 dpkg –l|grep ssh 查看是否有sever已经安装

安装后可以使用 ssh localhost 登录本机,发现登录时需要密码.

2.下面我们要设置免密登录.

  1. exit 退出刚才的ssh,进入 ~/.ssh 目录

  2. ssh-keygen -t rsa 生成密钥

  3. cat ./id_rsa.pub >> authorized_keys 将密钥追加到授权中

至此,免密登录设置完成,再次使用 ssh localhost 登录本机,就会发现不再提示输入密码,免密登录设置完成

安装Java

  1. 下载并解压压缩包

    tar -zxvf jdk-8u181-linux-x64.tar.gz -C ~

  2. 配置jdk环境变量

    vi ~/.bashrc

打开之后在末尾添加

export JAVA_HOME=~/jdk1.8.0_1712   	#自己的版本
export JRE_HOME=${JAVA_HOME}/jre	#
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/1ib
export PATH=${JAVA_HOME}/bin:$PATH

刷新使配置生效

source ~/.bashrc

  1. 检验是否安装成功

    java -version

Hadoop伪分布式安装

  1. 下载并解压Hadoop压缩包

    tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local

  2. 进入解压目录,将hadoop-2.7.3文件夹名称改成hadoop

    mv hadoop-2.7.3 hadoop

  3. 修改文件夹权限

    chown -R wz /usr/local/hadoop

  4. 修改配置文件 hadoop-env.sh

配置文件在路径/usr/local/hadoop/etc/hadoop下,在配置文件中找到export JAVA_HOME,修改为下:

# The java implementation to use.
export JAVA_HOME=/home/hadoop/jdk1.8.0_ 171		#cd ${JAVA_HOME} ; pwd
  1. 修改配置文件 core-site.xml

在<configuration>和</configuration>之间增加如下图的内容：

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

  1. 修改hdfs-site.xml文件，在<configuration>和</configuration>之间增加如下内容:

    dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data dfs.http.address 0.0.0.0:50070

  2. 进入/usr/local/hadoop路径，输入如下指令进行格式化

    ./bin/hdfs namenode -format

  3. 验证是否安装成功

    ./sbin/start-dfs.sh #启动hdfs进程
    jps #查看进程(三个进程)

  4. 配置环境变量

为了可以在任意目录下使用hadoop命令,我们需要在-/.bashrc目录下配置hadoop的环境变量,使用vi命令打开/.bashrc文件:

$ vi ~/.bashre

在文件末尾添加如下代码，保存退出

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
source ~/.bashrc		#使配置生效
hadoop version			#验证

FAQ

  1. 编辑时按方向键出现ABCD: 更新vi编辑器

    apt-get install vim

  2. 执行./bin/hdfs namenode -format时报错:
    /home/wz/jdk1.8.0_181': not a valid identifier
    Error: JAVA_HOME is not set and could not be found.

打开/usr/local/hadoop/etc/hadoop/hadoop-env.sh去掉 JAVA_HOME之前的空格

posted @ 2020-09-11 10:21  Zen-W  阅读(178)  评论(0)  编辑  收藏  举报