Hadoop环境搭建

Hadoop环境搭建

安装前准备

查看防火墙状态,若处于激活(inaction)状态,关闭防火墙

sudo ufw status

查看时间服务器是否运行,若NTP尚未安装就运行安装命令

dpkg -l | grep ntp #检查是否安装
apt-get install ntp #NTP安装

安装ssh和设置免密登录

1.安装ssh服务

ssh服务端openssh-server默认没有安装,所以要安装ssh服务

apt-get install openssh-server #安装ssh服务
/etc/init.d/ssh restart #重启ssh服务

可以用 dpkg –l|grep ssh 查看是否有sever已经安装

安装后可以使用 ssh localhost 登录本机,发现登录时需要密码.

2.下面我们要设置免密登录.

1. exit 退出刚才的ssh,进入 ~/.ssh 目录

2. ssh-keygen -t rsa 生成密钥

3. cat ./id_rsa.pub >> authorized_keys 将密钥追加到授权中

至此,免密登录设置完成,再次使用 ssh localhost 登录本机,就会发现不再提示输入密码,免密登录设置完成

安装Java

2. 下载并解压压缩包

   tar -zxvf jdk-8u181-linux-x64.tar.gz -C ~

3. 配置jdk环境变量

   vi ~/.bashrc

打开之后在末尾添加

export JAVA_HOME=~/jdk1.8.0_1712 #自己的版本
export JRE_HOME=${JAVA_HOME}/jre #
export CLASSPATH=.😒{JAVA_HOME}/lib:${JRE_HOME}/1ib
export PATH=${JAVA_HOME}/bin:$PATH

刷新使配置生效

source ~/.bashrc

4. 检验是否安装成功

   java -version

Hadoop伪分布式安装

1. 下载并解压Hadoop压缩包

   tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local

2. 进入解压目录,将hadoop-2.7.3文件夹名称改成hadoop

   mv hadoop-2.7.3 hadoop

3. 修改文件夹权限

   chown -R wz /usr/local/hadoop

4. 修改配置文件 hadoop-env.sh

配置文件在路径/usr/local/hadoop/etc/hadoop下,在配置文件中找到export JAVA_HOME,修改为下:

The java implementation to use.

export JAVA_HOME=/home/hadoop/jdk1.8.0_ 171 #cd ${JAVA_HOME} ; pwd

5. 修改配置文件 core-site.xml

在<configuration>和</configuration>之间增加如下图的内容：

hadoop.tmp.dir
file:/usr/local/hadoop/tmp
Abase for other temporary directories.


fs.defaultFS
hdfs://localhost:9000

6. 修改hdfs-site.xml文件，在<configuration>和</configuration>之间增加如下内容:

   dfs.replication 1 dfs.namenode.name.dir file:/usr/local/hadoop/tmp/dfs/name dfs.datanode.data.dir file:/usr/local/hadoop/tmp/dfs/data dfs.http.address 0.0.0.0:50070

7. 进入/usr/local/hadoop路径，输入如下指令进行格式化

   ./bin/hdfs namenode -format

8. 验证是否安装成功

   ./sbin/start-dfs.sh #启动hdfs进程
   jps #查看进程(三个进程)

9. 配置环境变量

为了可以在任意目录下使用hadoop命令,我们需要在-/.bashrc目录下配置hadoop的环境变量,使用vi命令打开/.bashrc文件:

$ vi ~/.bashre

在文件末尾添加如下代码，保存退出

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin
source ~/.bashrc #使配置生效
hadoop version #验证

---

FAQ

1. 编辑时按方向键出现ABCD: 更新vi编辑器

   apt-get install vim

2. 执行./bin/hdfs namenode -format时报错:
   /home/wz/jdk1.8.0_181': not a valid identifier
   Error: JAVA_HOME is not set and could not be found.

打开/usr/local/hadoop/etc/hadoop/hadoop-env.sh去掉 JAVA_HOME之前的空格