第六周总结

、启动Docker容器

1.加载镜像

2.启动实验容器

二、配置Hadoop环境

1.配置JAVA环境

2.配置分布式模式

3.配置hosts文件

4.配置SSH无密码登录

5.安装Hadoop并配置环境变量

三、配置+集群环境

1.修改文件slaves

2.修改文件core-site.xml

3. 修改文件hdfs-site.xml

4.修改文件mapred-site.xml

5.修改文件yarn-site.xml

四、配置slave节点

五、启动Hadoop集群

一、启动Docker容器
1.加载镜像
实验使用的Docker镜像保存在/cg/images/hadoop_node.tar.gz文件中，执行如下命令加载该镜像:

docker load < /cg/images/hadoop_node.tar.gz

2.启动实验容器
执行如下四个命令，启动四个名称分别为master、slave1、slave2、slave3的docker容器用于实验：

docker run --name master --privileged --hostname master --ip 172.18.0.2 --add-host=slave1:172.18.0.3 --add-host=slave2:172.18.0.4 --add-host=slave3:172.18.0.5 -itd -v /cgsrc:/cgsrc:ro -v /headless/course/:/course hadoop_node /service_start.sh

docker run --name slave1 --privileged --hostname slave1 --ip 172.18.0.3 --add-host=master:172.18.0.2 --add-host=slave2:172.18.0.4 --add-host=slave3:172.18.0.5 -itd -v /cgsrc:/cgsrc:ro hadoop_node /service_start.sh

docker run --name slave2 --privileged --hostname slave2 --ip 172.18.0.4 --add-host=master:172.18.0.2 --add-host=slave1:172.18.0.3 --add-host=slave3:172.18.0.5 -itd -v /cgsrc:/cgsrc:ro hadoop_node /service_start.sh

docker run --name slave3 --privileged --hostname slave3 --ip 172.18.0.5 --add-host=master:172.18.0.2 --add-host=slave1:172.18.0.3 --add-host=slave2:172.18.0.4 -itd -v /cgsrc:/cgsrc:ro hadoop_node /service_start.sh
执行结果如下:

 

在终端使用如下命令进入容器中：

docker exec -it --privileged $NAME /bin/bash
将命令中的$NAME替换为对应的容器名称即可，比如进入master容器可以使用命令:

docker exec -it --privileged master /bin/bash
特别注意：

如果再次进入桌面实验环境后，发现容器未启动（使用下面命令查看）

docker ps
按顺序使用下面命令启动容器。

docker start master
docker start slave1
docker start slave2
docker start slave3

————————————————
版权声明：本文为CSDN博主「所念皆星河115」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_60980343/article/details/122071829

搜索

复制