docker使用-spark安装

Docker 要求 Ubuntu 系统的内核版本高于 3.10

uname -r 命令验证版本

---

Ubuntu 安装-官方教程

https://docs.docker.com/install/linux/docker-ce/ubuntu/

---

通常网速很慢

编辑/etc/docker/daemon.json文件中添加 ：

{
   "registry-mirrors" : ["https://docker.mirrors.ustc.edu.cn"]
}

然后重启docker：

 sudo service docker restart

克隆快速安装spark：

git clone https://github.com/gettyimages/docker-spark.git

在下载的git文件目录执行sudo docker-compose up 待安装完成

访问：localhost:8080可以测试结果

运行spark容器：

sudo docker run -t -i gettyimages/spark /bin/bash

查看Hadoop版本：hadoop version 

执行spark shell：spark shell

---

查看当前运行的容器：docker ps -a

拷贝本地文件到容器：docker cp 本地文件路径 ID全称:容器路径