百里登风

导航

上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 36 下一页

2019年10月17日

Docker 运行hello world

摘要: Docker 允许你在容器内运行应用程序, 使用 docker run 命令来在容器内运行一个应用程序。 输出Hello world 各个参数解析: docker: Docker 的二进制执行文件。 run:与前面的 docker 组合来运行一个容器。 ubuntu:15.10指定要运行的镜像,Do 阅读全文

posted @ 2019-10-17 10:29 百里登峰 阅读(995) 评论(0) 推荐(0)

2019年10月16日

Centos7 下安装docker

摘要: Docker 运行在 CentOS 7 上,要求系统为64位、系统内核版本为 3.10 以上。 Docker 运行在 CentOS-6.5 或更高的版本的 CentOS 上,要求系统为64位、系统内核版本为 2.6.32-431 或者更高版本。 通过 uname -r 命令查看你当前的内核版本(我的 阅读全文

posted @ 2019-10-16 17:35 百里登峰 阅读(882) 评论(0) 推荐(0)

2019年10月15日

在docker容器下安装airflow

摘要: 本人的环境是基于centos7下来安装的 一、安装docker 下载docker安装包,下载地址:https://download.docker.com/linux/static/stable/x86_64/ 下载到本地后解压 tar -zxf docker-18.09.6.tgz 将解压出来的do 阅读全文

posted @ 2019-10-15 21:13 百里登峰 阅读(2534) 评论(0) 推荐(0)

2019年9月26日

Windows 下部署 hadoop spark环境

摘要: 一、先在本地安装jdk 我这里安装的jdk1.8,具体的安装过程这里不作赘述 二、部署安装maven 下载maven安装包,并解压 设置环境变量,MAVEN_HOME=D:\SoftWare\Maven\apache-maven-3.6.1 在path路径添加;%MAVEN_HOME%\bin 打开 阅读全文

posted @ 2019-09-26 10:48 百里登峰 阅读(2149) 评论(1) 推荐(2)

2019年8月29日

AirFlow功能展示个人笔记

摘要: DAGs 查看您可以一目了然地查看成功、失败及当前正在运行的任务数量。 选中其中一个DAG 树视图 跨越时间的 DAG 的树表示。如果 pipeline(管道)延迟了,您可以很快地看到哪里出现了错误的步骤并且辨别出堵塞的进程。 图表视图 图形视图可能是最全面的一种表现形式了。它可以可视化您的 DAG 阅读全文

posted @ 2019-08-29 18:04 百里登峰 阅读(1277) 评论(0) 推荐(0)

23.安装php和echarts进行结合展示图表

摘要: 数据展示 http://echarts.baidu.com/index.html 是一个图像展示 可以到官方实例中选择各种图 通过下载例子 新建echartdome.php 通过浏览器打开 但是我们必须通过phpstudy来运行,不能直接这样打开网页 先把echartdome.php改成index. 阅读全文

posted @ 2019-08-29 00:11 百里登峰 阅读(2061) 评论(0) 推荐(0)

2019年8月26日

22.把hive表中数据导入到mysql中

摘要: 先通过可视化工具链接mysql,在链接的时候用sqoop 用户登录 在数据库userdb下新建表 保存,输入表名upflow 现在我们需要把hive里面的数据通过sqoop导入到mysql里面 可以看到mysql的数据 阅读全文

posted @ 2019-08-26 23:08 百里登峰 阅读(4394) 评论(0) 推荐(0)

2019年8月25日

21.根据hive绑定数据统计计算保存到hive表中

摘要: 创建upflow表 将表access里面的内容导入到upflow表中 阅读全文

posted @ 2019-08-25 17:50 百里登峰 阅读(305) 评论(0) 推荐(0)

20.采集项目流程篇之清洗数据绑定到hive表中

摘要: 先启动hive 在mydb2这个数据库中创建表; 把清洗后的数据导入到刚刚创建的hive表中 阅读全文

posted @ 2019-08-25 16:46 百里登峰 阅读(313) 评论(0) 推荐(0)

2019年8月21日

airflow 安装配置celery+rabbitmq celery+redis

摘要: AirFlow的安装可以参考:https://www.cnblogs.com/braveym/p/11378851.html 这里介绍的是AirFlow 安装配置celery+rabbitmq 和 celery+redis 一、airflow 安装配置celery+rabbitmq 1、安装cele 阅读全文

posted @ 2019-08-21 15:11 百里登峰 阅读(1585) 评论(1) 推荐(0)

上一页 1 ··· 11 12 13 14 15 16 17 18 19 ··· 36 下一页