基于docker安装单节点spark测试环境

#第一步：下载docker和docker-compose一键安装脚本
wget -c http://download.cashalo.com/schema/auto_Docker.sh
#第二步：运行脚本
sh auto_Docker.sh
#第三步：确认docker-compose安装成功
docker-compose --version
#第四步：安装spark
docker pull singularities/spark
#第五步：查看镜像是否安装成功
docker image ls
#第六步：创建docker-compose.yml
cat >/home/tools/docker-compose.yml <<EOF
version: "2"

services:
master:
image: singularities/spark
command: start-spark master
hostname: master
ports:
- "6066:6066"
- "7070:7070"
- "8080:8080"
- "50070:50070"
worker:
image: singularities/spark
command: start-spark worker master
environment:
SPARK_WORKER_CORES: 1
SPARK_WORKER_MEMORY: 2g
links:
- master
EOF
#第七步：使用docker-compose命令启动
cd /home/tools/
docker-compose up -d
#第八步：查看容器运行
docker-compose ps
#第九步：登陆浏览器验证
http://YourIP:50070
http://YourIP:8080
#第十步：如何解决docker的端口无法访问tcp6？
#开启路由转发功能
echo 'net.ipv4.ip_forward=1' >> /etc/sysctl.conf
sysctl -p
#记得一定要重启docker
service docker restart
#关闭docker-compose
cd /home/tools
docker-compose down
#再次开启docker-compose
docker-compose up -d