百里登峰 - 博客园

Docker 运行hello world

摘要： Docker 允许你在容器内运行应用程序，使用 docker run 命令来在容器内运行一个应用程序。输出Hello world 各个参数解析： docker: Docker 的二进制执行文件。 run:与前面的 docker 组合来运行一个容器。 ubuntu:15.10指定要运行的镜像，Do 阅读全文

posted @ 2019-10-17 10:29 百里登峰阅读(997) 评论(0) 推荐(0)

Centos7 下安装docker

摘要： Docker 运行在 CentOS 7 上，要求系统为64位、系统内核版本为 3.10 以上。 Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上，要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。通过 uname -r 命令查看你当前的内核版本(我的阅读全文

posted @ 2019-10-16 17:35 百里登峰阅读(882) 评论(0) 推荐(0)

在docker容器下安装airflow

摘要：本人的环境是基于centos7下来安装的一、安装docker 下载docker安装包，下载地址：https://download.docker.com/linux/static/stable/x86_64/ 下载到本地后解压 tar -zxf docker-18.09.6.tgz 将解压出来的do 阅读全文

posted @ 2019-10-15 21:13 百里登峰阅读(2536) 评论(0) 推荐(0)

Windows 下部署 hadoop spark环境

摘要：一、先在本地安装jdk 我这里安装的jdk1.8,具体的安装过程这里不作赘述二、部署安装maven 下载maven安装包，并解压设置环境变量，MAVEN_HOME=D:\SoftWare\Maven\apache-maven-3.6.1 在path路径添加;%MAVEN_HOME%\bin 打开阅读全文

posted @ 2019-09-26 10:48 百里登峰阅读(2152) 评论(1) 推荐(2)

AirFlow功能展示个人笔记

摘要： DAGs 查看您可以一目了然地查看成功、失败及当前正在运行的任务数量。选中其中一个DAG 树视图跨越时间的 DAG 的树表示。如果 pipeline（管道）延迟了，您可以很快地看到哪里出现了错误的步骤并且辨别出堵塞的进程。图表视图图形视图可能是最全面的一种表现形式了。它可以可视化您的 DAG 阅读全文

posted @ 2019-08-29 18:04 百里登峰阅读(1290) 评论(0) 推荐(0)

23.安装php和echarts进行结合展示图表

摘要：数据展示 http://echarts.baidu.com/index.html 是一个图像展示可以到官方实例中选择各种图通过下载例子新建echartdome.php 通过浏览器打开但是我们必须通过phpstudy来运行，不能直接这样打开网页先把echartdome.php改成index. 阅读全文

posted @ 2019-08-29 00:11 百里登峰阅读(2066) 评论(0) 推荐(0)

22.把hive表中数据导入到mysql中

摘要：先通过可视化工具链接mysql，在链接的时候用sqoop 用户登录在数据库userdb下新建表保存，输入表名upflow 现在我们需要把hive里面的数据通过sqoop导入到mysql里面可以看到mysql的数据阅读全文

posted @ 2019-08-26 23:08 百里登峰阅读(4399) 评论(0) 推荐(0)

21.根据hive绑定数据统计计算保存到hive表中

摘要：创建upflow表将表access里面的内容导入到upflow表中阅读全文

posted @ 2019-08-25 17:50 百里登峰阅读(305) 评论(0) 推荐(0)

20.采集项目流程篇之清洗数据绑定到hive表中

摘要：先启动hive 在mydb2这个数据库中创建表；把清洗后的数据导入到刚刚创建的hive表中阅读全文

posted @ 2019-08-25 16:46 百里登峰阅读(315) 评论(0) 推荐(0)

airflow 安装配置celery+rabbitmq celery+redis

摘要： AirFlow的安装可以参考：https://www.cnblogs.com/braveym/p/11378851.html 这里介绍的是AirFlow 安装配置celery+rabbitmq 和 celery+redis 一、airflow 安装配置celery+rabbitmq 1、安装cele 阅读全文

posted @ 2019-08-21 15:11 百里登峰阅读(1591) 评论(1) 推荐(0)

百里登风

导航

公告