绝不原创的飞龙

2018年11月29日

摘要： CeleryExecutor是您扩展工人数量的方法之一。为此，您需要设置Celery后端（ RabbitMQ ， Redis ，…）并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。有关设置Celery代理的更多信息，请参阅有关该主题的详尽阅读全文

posted @ 2018-11-29 13:40 绝不原创的飞龙阅读(58) 评论(0) 推荐(0)

Airflow 中文文档：写日志

摘要：在本地编写日志用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。默认情况下，它位于AIRFLOW_HOME目录中。此外，用户可以提供远程位置，以便在云存储中存储日志和日志备份。在Airflow Web UI中，本地日志优先于远程日志。如果找不到或访问本地阅读全文

posted @ 2018-11-29 13:39 绝不原创的飞龙阅读(150) 评论(0) 推荐(0)

2018年11月28日

Airflow 中文文档：保护连接

摘要：默认情况下，Airflow将在元数据数据库中以纯文本格式保存连接的密码。在安装过程中强烈建议使用crypto包。 crypto包确实要求您的操作系统安装了libffi-dev。如果最初未安装crypto软件包，您仍可以通过以下步骤为连接启用加密：安装crypto包pip install apa 阅读全文

posted @ 2018-11-28 20:14 绝不原创的飞龙阅读(71) 评论(0) 推荐(0)

Airflow 中文文档：管理连接

摘要： Airflow需要知道如何连接到您的环境。其他系统和服务的主机名，端口，登录名和密码等信息在UI的Admin->Connection部分中处理。您将创作的管道代码将引用Connection对象的“conn_id”。可以使用UI或环境变量创建和管理连接。有关更多信息，请参阅Connenc 阅读全文

posted @ 2018-11-28 20:13 绝不原创的飞龙阅读(67) 评论(0) 推荐(0)

Airflow 中文文档：使用操作器

摘要：操作器代表一个理想情况下是幂等的任务。操作员确定DAG运行时实际执行的内容。有关更多信息，请参阅Operators Concepts文档和Operators API Reference 。 BashOperator 模板故障排除找不到Jinja模板 PythonOperator 传递参数模板阅读全文

posted @ 2018-11-28 20:10 绝不原创的飞龙阅读(31) 评论(0) 推荐(0)

Airflow 中文文档：初始化数据库后端

摘要：如果您想对Airflow进行真正的试驾，您应该考虑设置一个真正的数据库后端并切换到LocalExecutor。由于Airflow是使用优秀的SqlAlchemy库与其元数据进行交互而构建的，因此您应该能够使用任何支持作为SqlAlchemy后端的数据库后端。我们建议使用MySQL或Postgre 阅读全文

posted @ 2018-11-28 20:08 绝不原创的飞龙阅读(82) 评论(0) 推荐(0)

Airflow 中文文档：设置配置选项

摘要：第一次运行Airflow时，它会在$AIRFLOW_HOME目录中创建一个名为airflow.cfg的文件（默认情况下为~/airflow $AIRFLOW_HOME ）。此文件包含Airflow的配置，您可以对其进行编辑以更改任何设置。您还可以使用以下格式设置带有环境变量的选项： $AIRFL 阅读全文

posted @ 2018-11-28 20:07 绝不原创的飞龙阅读(124) 评论(0) 推荐(0)

Airflow 中文文档：教程

摘要：本教程将向您介绍一些基本的Airflow概念，对象及其在编写第一个管道时的用法。示例管道定义以下是基本管道定义的示例。如果这看起来很复杂，请不要担心，下面将逐行说明。 """ Code that goes along with the Airflow tutorial located at: 阅读全文

posted @ 2018-11-28 20:04 绝不原创的飞龙阅读(65) 评论(0) 推荐(0)

Airflow 中文文档：安装

摘要：获得气流安装最新稳定版Airflow的最简单方法是使用pip ： pip install apache-airflow 您还可以安装Airflow，支持s3或postgres等额外功能： pip install apache-airflow [ postgres,s3 ] 注意 GPL依赖默认情阅读全文

posted @ 2018-11-28 20:03 绝不原创的飞龙阅读(65) 评论(0) 推荐(0)

Airflow 中文文档：快速开始

摘要：安装快速而直接。 # airflow needs a home, ~/airflow is the default, # but you can lay foundation somewhere else if you prefer # (optional) export AIRFLOW_HOME 阅读全文

posted @ 2018-11-28 20:00 绝不原创的飞龙阅读(54) 评论(0) 推荐(0)

龙哥盟

掠夺·扩张·投机·博弈

公告