2018年11月29日
Airflow 中文文档：用Celery扩大规模
摘要： CeleryExecutor是您扩展工人数量的方法之一。 为此，您需要设置Celery后端（ RabbitMQ ， Redis ，...）并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。 有关设置Celery代理的更多信息，请参阅有关该主题的 阅读全文
posted @ 2018-11-29 17:40 布客飞龙II 阅读(886) 评论(0) 推荐(0)
Airflow 中文文档：用Dask扩展
摘要： DaskExecutor允许您在Dask分布式群集中运行Airflow任务。 Dask集群可以在单个机器上运行，也可以在远程网络上运行。 有关完整详细信息，请参阅分布式文档 。 要创建集群，首先启动调度程序： 接下来，在任何可以连接到主机的计算机上启动至少一个Worker： 阅读全文／改进本文 阅读全文
posted @ 2018-11-29 17:40 布客飞龙II 阅读(1015) 评论(0) 推荐(0)
2018年11月28日
Airflow 中文文档：保护连接
摘要： 默认情况下，Airflow将在元数据数据库中以纯文本格式保存连接的密码。 在安装过程中强烈建议使用crypto包。 crypto包确实要求您的操作系统安装了libffi-dev。 如果最初未安装crypto软件包，您仍可以通过以下步骤为连接启用加密： 3.将airflow.cfg fernet_ke 阅读全文
posted @ 2018-11-28 20:21 布客飞龙II 阅读(845) 评论(0) 推荐(0)
Airflow 中文文档：初始化数据库后端
摘要： 如果您想对Airflow进行真正的试驾，您应该考虑设置一个真正的数据库后端并切换到LocalExecutor。 由于Airflow是使用优秀的SqlAlchemy库与其元数据进行交互而构建的，因此您应该能够使用任何支持作为SqlAlchemy后端的数据库后端。 我们建议使用MySQL或Postgre 阅读全文
posted @ 2018-11-28 20:20 布客飞龙II 阅读(818) 评论(0) 推荐(0)
Airflow 中文文档：管理连接
摘要： Airflow需要知道如何连接到您的环境。 其他系统和服务的主机名，端口，登录名和密码等信息在UI的Admin->Connection部分中处理。 您将创作的管道代码将引用Connection对象的“conn_id”。 https://github.com/apachecn/airflow-d 阅读全文
posted @ 2018-11-28 20:20 布客飞龙II 阅读(790) 评论(0) 推荐(0)
Airflow 中文文档：设置配置选项
摘要： 第一次运行Airflow时，它会在$AIRFLOW_HOME目录中创建一个名为airflow.cfg的文件（默认情况下为~/airflow $AIRFLOW_HOME ）。 此文件包含Airflow的配置，您可以对其进行编辑以更改任何设置。 您还可以使用以下格式设置带有环境变量的选项： $AIRFL 阅读全文
posted @ 2018-11-28 20:19 布客飞龙II 阅读(1126) 评论(0) 推荐(0)
Airflow 中文文档：安装
摘要： 获得气流 安装最新稳定版Airflow的最简单方法是使用pip ： 您还可以安装Airflow，支持s3或postgres等额外功能： 注意 GPL依赖 默认情况下，Apache Airflow的一个依赖项是拉入GPL库（'unidecode'）。 如果这是一个问题，您可以通过发出export SL 阅读全文
posted @ 2018-11-28 20:18 布客飞龙II 阅读(812) 评论(0) 推荐(0)
Airflow 中文文档：教程
摘要： 本教程将向您介绍一些基本的Airflow概念，对象及其在编写第一个管道时的用法。 示例管道定义 以下是基本管道定义的示例。 如果这看起来很复杂，请不要担心，下面将逐行说明。 阅读全文／改进本文 阅读全文
posted @ 2018-11-28 20:18 布客飞龙II 阅读(1004) 评论(0) 推荐(0)
Airflow 中文文档：项目
摘要： 历史 Airflow于2014年10月由Airbnb的Maxime Beauchemin开始。 它是第一次提交的开源，并在2015年6月宣布正式加入Airbnb Github。 该项目于2016年3月加入了Apache Software Foundation的孵化计划。 提交者 @mistercru 阅读全文
posted @ 2018-11-28 20:17 布客飞龙II 阅读(917) 评论(0) 推荐(0)
Airflow 中文文档：快速开始
摘要： 安装快速而直接。 阅读全文／改进本文 阅读全文
posted @ 2018-11-28 20:17 布客飞龙II 阅读(954) 评论(0) 推荐(0)