基于docker快速搭建多节点Hadoop集群

1、docker部署

 

拉取镜像

docker pull kiwenlau/hadoop-master:0.1.0

 

2、运行容器

 

下载源代码

git clone https://github.com/kiwenlau/hadoop-cluster-docker

 

创建网桥

docker network create hadoop

 

运行容器

cd /opt/hadoop-cluster-docker/

./start-container.sh

 

3、开启hadoop

bash start-hadoop.sh

 

 注意：这一步会ssh连接到每一个节点，确保ssh信任是正常的。

Hadoop的启动速度取决于机器性能

 

4、运行wordcount

bash run-wordcount.sh

 

5、测试hadoop

http://ip地址:8088/cluster/nodes

 

6、hdfs管理页面

http://ip地址:50070/