Docker 容器的使用
摘要：
运行一个web应用 使用 docker 构建一个 web 应用程序 我们将在docker容器中运行一个 Python Flask 应用来运行一个web应用 参数说明: -d:让容器在后台运行。 -P:将容器内部使用的网络端口映射到我们使用的主机上 -d:让容器在后台运行。 -P:将容器内部使用的网络 阅读全文
posted @ 2019-10-17 11:31 百里登峰 阅读(158) 评论(0) 推荐(0)
Docker 运行hello world
摘要：
Docker 允许你在容器内运行应用程序， 使用 docker run 命令来在容器内运行一个应用程序。 输出Hello world 各个参数解析： docker: Docker 的二进制执行文件。 run:与前面的 docker 组合来运行一个容器。 ubuntu:15.10指定要运行的镜像，Do 阅读全文
posted @ 2019-10-17 10:29 百里登峰 阅读(1022) 评论(0) 推荐(0)
Centos7 下安装docker
摘要：
Docker 运行在 CentOS 7 上，要求系统为64位、系统内核版本为 3.10 以上。 Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上，要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。 通过 uname -r 命令查看你当前的内核版本(我的 阅读全文
posted @ 2019-10-16 17:35 百里登峰 阅读(898) 评论(0) 推荐(0)
在docker容器下安装airflow
摘要：
本人的环境是基于centos7下来安装的 一、安装docker 下载docker安装包，下载地址：https://download.docker.com/linux/static/stable/x86_64/ 下载到本地后解压 tar -zxf docker-18.09.6.tgz 将解压出来的do 阅读全文
posted @ 2019-10-15 21:13 百里登峰 阅读(2568) 评论(0) 推荐(0)
Windows 下部署 hadoop spark环境
摘要：
一、先在本地安装jdk 我这里安装的jdk1.8,具体的安装过程这里不作赘述 二、部署安装maven 下载maven安装包，并解压 设置环境变量，MAVEN_HOME=D:\SoftWare\Maven\apache-maven-3.6.1 在path路径添加;%MAVEN_HOME%\bin 打开 阅读全文
posted @ 2019-09-26 10:48 百里登峰 阅读(2169) 评论(1) 推荐(2)
AirFlow功能展示个人笔记
摘要：
DAGs 查看您可以一目了然地查看成功、失败及当前正在运行的任务数量。 选中其中一个DAG 树视图 跨越时间的 DAG 的树表示。如果 pipeline（管道）延迟了，您可以很快地看到哪里出现了错误的步骤并且辨别出堵塞的进程。 图表视图 图形视图可能是最全面的一种表现形式了。它可以可视化您的 DAG 阅读全文
posted @ 2019-08-29 18:04 百里登峰 阅读(1326) 评论(0) 推荐(0)
23.安装php和echarts进行结合展示图表
摘要：
数据展示 http://echarts.baidu.com/index.html 是一个图像展示 可以到官方实例中选择各种图 通过下载例子 新建echartdome.php 通过浏览器打开 但是我们必须通过phpstudy来运行，不能直接这样打开网页 先把echartdome.php改成index. 阅读全文
posted @ 2019-08-29 00:11 百里登峰 阅读(2082) 评论(0) 推荐(0)
22.把hive表中数据导入到mysql中
摘要：
先通过可视化工具链接mysql，在链接的时候用sqoop 用户登录 在数据库userdb下新建表 保存，输入表名upflow 现在我们需要把hive里面的数据通过sqoop导入到mysql里面 可以看到mysql的数据 阅读全文
posted @ 2019-08-26 23:08 百里登峰 阅读(4416) 评论(0) 推荐(0)
21.根据hive绑定数据统计计算保存到hive表中
摘要：
创建upflow表 将表access里面的内容导入到upflow表中 阅读全文
posted @ 2019-08-25 17:50 百里登峰 阅读(316) 评论(0) 推荐(0)
20.采集项目流程篇之清洗数据绑定到hive表中
摘要：
先启动hive 在mydb2这个数据库中创建表； 把清洗后的数据导入到刚刚创建的hive表中 阅读全文
posted @ 2019-08-25 16:46 百里登峰 阅读(331) 评论(0) 推荐(0)
浙公网安备 33010602011771号