jacksonkwong

摘要： 找了很多文章，没有详细说明如何在docker上搭建spark，写一篇随笔做记录 一，搭建spark 二，运行一个wordcount 硬件：centos 8.0 64位 阿里云ECS服务器 安装docker-compose sudo pip install docker-compose==1.4.0 阅读全文

摘要： 1.拉取Flume镜像 2.启动调试 拉取镜像： 从hub.docker.com中拉取anchorfree/flume镜像，docker pull anchorfree/flume:latest 通过docker image ps查看 宿主机创建卷路径：mkdir /data_volume/flum 阅读全文

摘要： 安装： 在ECS上安装Docker，需要关注两个问题： 1.ECS的系统版本，内核版本 2.containerd.io及Docker版本 查询内核 我这里以 CentOS 8.0 64位，内核可以用 #uname -a查询 一般来说安装Docker需要内核高于3.8。 如果低于则需要更新内核，更新内 阅读全文

摘要： 问题背景：设置Linux的crontab时，发现执行的Python脚本后，在脚本路径下久久不能生成想要的文件，于是考虑是不是路径设置出现问题。 代码测试： 1. 在根目录/创建data目录，然后data下创建test目录：/data/test/ 2. 在/data/test目录下创建test.py 阅读全文

摘要： 本文背景： 数据挖掘过程中，需要定时爬取资料。 本文目的： 建立一个Docker的容器，并运行python脚本。 1.1 Docker介绍： Docker 是一个开源的应用容器引擎（引擎：主程序） 1.2 容器介绍： 容器（container），一种内核轻量级的操作系统层虚拟化技术。类似虚拟机。 1 阅读全文