摘要：
Airflow可以与基于系统的系统集成。 这使得观察您的守护进程变得容易，因为systemd可以在失败时重新启动守护进程。 在scripts/systemd目录中，您可以找到已在基于Redhat的系统上测试过的单元文件。 您可以将它们复制到/usr/lib/systemd/system 。 假设Ai 阅读全文
posted @ 2018-11-29 13:44
绝不原创的飞龙
阅读(29)
评论(0)
推荐(0)
摘要：
有两种方法可以将气流作为mesos框架运行： 直接在mesos从站上运行气流任务，要求每个mesos从站安装和配置气流。在安装了气流的docker容器内运行气流任务，该容器在mesos slave上运行。 任务直接在mesos从站上执行 MesosExecutor允许您在Mesos群集上安排气流任务 阅读全文
posted @ 2018-11-29 13:43
绝不原创的飞龙
阅读(26)
评论(0)
推荐(0)
摘要：
DaskExecutor允许您在Dask分布式群集中运行Airflow任务。 Dask集群可以在单个机器上运行，也可以在远程网络上运行。 有关完整详细信息，请参阅分布式文档 。 要创建集群，首先启动调度程序： # default settings for a local cluster DASK_H 阅读全文
posted @ 2018-11-29 13:41
绝不原创的飞龙
阅读(42)
评论(0)
推荐(0)
摘要：
CeleryExecutor是您扩展工人数量的方法之一。 为此，您需要设置Celery后端（ RabbitMQ ， Redis ，…）并更改airflow.cfg以将执行程序参数指向CeleryExecutor并提供相关的Celery设置。 有关设置Celery代理的更多信息，请参阅有关该主题的详尽 阅读全文
posted @ 2018-11-29 13:40
绝不原创的飞龙
阅读(52)
评论(0)
推荐(0)
摘要：
在本地编写日志 用户可以使用base_log_folder设置在airflow.cfg指定日志文件夹。 默认情况下，它位于AIRFLOW_HOME目录中。 此外，用户可以提供远程位置，以便在云存储中存储日志和日志备份。 在Airflow Web UI中，本地日志优先于远程日志。 如果找不到或访问本地 阅读全文
posted @ 2018-11-29 13:39
绝不原创的飞龙
阅读(123)
评论(0)
推荐(0)
浙公网安备 33010602011771号