Hadoop分布式平台搭建

环境：CentOS 7.4 （1708  DVD）

工具：MobaXterm

 

一、 安装

1. 将hadoop安装包上传到/usr/local目录下，将其解压并重命名。

2. 配置hadoop的环境变量并source。

 

 

二、 基本配置

1. 切换到配置文件目录下。

2. 修改hadoop-env.sh文件。配置JAVA_HOME为jdk的安装目录。

3. 修改core-site.xml文件。hadoop.tmp.dir为缓存目录。配置完成后手动创建hdfs/dir目录。

4. 修改hdfs-site.xml文件。配置完成后手动创建name和data目录。

5. 修改mapre-site.xml文件。初始状态下该文件只有模板，将其改名后进行修改。

6. 修改yarn-site.xml文件。

7. 修改slaves文件。使namenode识别datanode。

 

 

三、 分发文件

1. 使用scp命令将hadoop安装目录和profile一并复制到slave1和slave2上，在slave1和slave2上source一下新的profile。

 

 

四、 启动

1. 在namenode(master)进行初始化操作。

2. 启动。依次使用start-dfs.sh和start-yarn.sh启动hadoop和yarn。也可以直接执行start-all.sh。反之使用stop-all.sh关闭集群。

3. 在三台主机上使用jps命令验证启动结果。