随笔分类 -  Airflow

运维基础之Docker（5）docker部署airflow
摘要：部署方式：docker+airflow+mysql+LocalExecutor 使用airflow的docker镜像 https://hub.docker.com/r/puckel/docker-airflow 使用默认的sqlite+SequentialExecutor启动： $ docker r 阅读全文
posted @ 2019-03-01 10:59 匠人先生 阅读(3723) 评论(0) 推荐(0)
大数据基础之Airflow（2）生产环境部署airflow研究
摘要：一 官方 airflow官方分布式部署结构图 airflow进程 webserver scheduler flower（非必须） worker airflow缺点 scheduler单点 通过在scheduler的dags目录变动dag文件来提交流程 官方分布式部署方案 多个webserver 多个 阅读全文
posted @ 2019-02-20 01:57 匠人先生 阅读(3333) 评论(0) 推荐(0)
大数据基础之Airflow（1）简介、安装、使用
摘要：airflow 1.10.0 官方：http://airflow.apache.org/ 一 简介 Airflow is a platform to programmatically author, schedule and monitor workflows. Use airflow to aut 阅读全文
posted @ 2019-01-26 17:26 匠人先生 阅读(4497) 评论(0) 推荐(0)
大数据基础之Ambari（3）通过Ambari部署Airflow
摘要：ambari2.7.3（hdp3.1） 安装 airflow1.10 ambari的hdp中原生不支持airflow安装，下面介绍如何通过mpack方式使ambari支持airflow安装： 1 下载 # wget https://github.com/miho120/ambari-airflow- 阅读全文
posted @ 2019-01-17 21:54 匠人先生 阅读(2041) 评论(1) 推荐(2)