hadoop环境配置

本文学习参考来自于‘http://dblab.xmu.edu.cn/blog/install-hadoop/’

基本环境准备

安装Linux操作系统

根据电脑性能，性能高的可选择安装虚拟机，性能较差的选择安装双系统

Linux——Ubantu镜像：https://ubuntu.com/download/desktop

1、安装virtualBox，创建Linux虚拟机

2、安装Vmware workstation，创建Linux虚拟机

3、安装windows+Linux双系统

安装常用的工具库

# 更新apt
sudo apt-get update

# 文件编辑器
sudo apt-get install vim

创建hadoop用户

# 在系统用户里创建新用户-“hadoop”
sudo useradd -m hadoop -s /bin/bash

# 设置密码
sudo passwd hadoop

# 为hadoop增加管理员权限
sudo adduser hadoop sudo

安装SSH、并配置无密码登陆(根目录下操作)

集群、单节点模式需要用到SSH登录（类似于远程登录），Ubantu默认安装SSH Client，需要安装SSH server

# 安装SSH服务器
sudo apt-get install openssh-server

# localhost登录
ssh localhost      #根据提示输入密码即可登录

# 退出SSH登录
exit

设置无密码登录

cd .ssh/

# 生成ssh密钥
ssh-keygen -t rsa

# 加入授权
cat ./id_rsa.pub >> ./authorized_keys

安装Java环境（根目录）

由于hadoop的运作是基于java的，所以Java环境是必须的

安装JDK

在线安装最新版JDK

sudo apt-get install default-jre default-jdk

# 配置JAVA_HOME环境变量
sudo vim .bashrc

在.bashrc文件首行增加配置，增加完毕保存并退出，编辑：-i，保存退出：:wq

export JAVA_HOME=/usr/lib/jvm/default-java

文件修改完，使其生效

source .bashrc

最后检查是否配置成功

# 查看变量值
echo $JAVA_HOME

# 版本号
java -version
$JAVA_HOME/bin/java -version

变量值及版本号与前面预装和设置一致即Java环境配置完成

安装hadoop

下载地址“http://mirror.bit.edu.cn/apache/hadoop/common/”，stable下的.tar.gz结尾的文件

将下载的文件解压到/usr/local

# 解压
sudo tar -zxf hadoop-3.2.1.tar.gz -C /usr/local

# 切换操作目录
cd /usr/local/

# 修改文件夹名字
sudo mv ./hadoop-3.2.1/ ./hadoop  

# 设置文件夹权限
sudo chown -R hadoop ./hadoop

设置文件夹权限时使用的是hadoop用户，所以前面设置的hadoop管理员权限为此操作前提，不改文件权限，后续关于hadoop的命令执行可能会报错

检查hadoop是否可用

# 注意切换目录
cd /usr/local/hadoop
./bin/hadoop version