摘要：
反向代理Azure：Microsoft AzureAWS：亚马逊网络服务DatabricksGCP：Google云端平台 反向代理 可以在反向代理后面设置气流，并能够灵活地设置其端点。 例如，您可以配置反向代理以获取： https : // lab . mycompany . com / myorg 阅读全文
posted @ 2018-11-29 18:03
绝不原创的飞龙
阅读(33)
评论(0)
推荐(0)
摘要：
Airflow公开了一个实验性的Rest API。 它可以通过网络服务器获得。 端点可在/ api / experimental /获得。 请注意，我们希望端点定义发生变化。 端点 这是占位符，直到招摇定义处于活动状态 / api / experimental / dags / <DAG_ID> / 阅读全文
posted @ 2018-11-29 18:02
绝不原创的飞龙
阅读(59)
评论(0)
推荐(0)
摘要：
默认情况下启用对时区的支持。 Airflow在内部和数据库中以UTC格式存储日期时间信息。 它允许您使用时区相关的计划运行DAG。 目前，Airflow不会将其转换为用户界面中的最终用户时区。 它始终以UTC显示。 此外，操作符中使用的模板也不会被转换。 时区信息是暴露出来的，由DAG的作者负责。 阅读全文
posted @ 2018-11-29 18:01
绝不原创的飞龙
阅读(72)
评论(0)
推荐(0)
摘要：
默认情况下，所有门都打开。 限制对Web应用程序的访问的一种简单方法是在网络级别或使用SSH隧道执行此操作。 但是，可以通过使用其中一个提供的后端或创建自己的后端来打开身份验证。 请务必查看Experimental Rest API以保护API。 Web身份验证 密码 最简单的身份验证机制之一是要求 阅读全文
posted @ 2018-11-29 18:00
绝不原创的飞龙
阅读(24)
评论(0)
推荐(0)
摘要：
Airflow内置了一个简单的插件管理器，可以通过简单地删除$AIRFLOW_HOME/plugins文件夹中的文件，将外部功能集成到其核心。 plugins文件夹中的python模块将被导入， 钩子 ， 操作符 ， 传感器 ， 宏 ， 执行器和Web 视图将集成到Airflow的主要集合中，并可供 阅读全文
posted @ 2018-11-29 17:59
绝不原创的飞龙
阅读(58)
评论(0)
推荐(0)
摘要：
Airflow调度程序监视所有任务和所有DAG，并触发已满足其依赖关系的任务实例。 在幕后，它监视并与其可能包含的所有DAG对象的文件夹保持同步，并定期（每分钟左右）检查活动任务以查看是否可以触发它们。 Airflow调度程序旨在作为Airflow生产环境中的持久服务运行。 要开始，您需要做的就是执 阅读全文
posted @ 2018-11-29 17:58
绝不原创的飞龙
阅读(78)
评论(0)
推荐(0)
摘要：
Airflow具有非常丰富的命令行界面，允许在DAG上执行多种类型的操作，启动服务以及支持开发和测试。 usage : airflow [ - h ] { resetdb , render , variables , connections , create_user , pause , task_ 阅读全文
posted @ 2018-11-29 17:57
绝不原创的飞龙
阅读(91)
评论(0)
推荐(0)
摘要：
使用数据生产效率的一部分是拥有正确的武器来分析您正在使用的数据。 Airflow提供了一个简单的查询界面来编写SQL并快速获得结果，以及一个图表应用程序，可以让您可视化数据。 临时查询 adhoc查询UI允许与Airflow中注册的数据库连接进行简单的SQL交互。 图表 基于flask-admin和 阅读全文
posted @ 2018-11-29 13:51
绝不原创的飞龙
阅读(46)
评论(0)
推荐(0)
摘要：
Airflow Platform是用于描述，执行和监控工作流的工具。 核心理念 DAG的 在Airflow中， DAG （或定向非循环图）是您要运行的所有任务的集合，以反映其关系和依赖关系的方式进行组织。 例如，一个简单的DAG可以包含三个任务：A，B和C.可以说A必须在B可以运行之前成功运行，但C 阅读全文
posted @ 2018-11-29 13:49
绝不原创的飞龙
阅读(52)
评论(0)
推荐(0)
摘要：
通过Airflow UI，您可以轻松监控数据管道并对其进行故障排除。 以下是您可以在Airflow UI中找到的一些功能和可视化的快速概述。 DAGs查看 您环境中的DAG列表，以及一组有用页面的快捷方式。 您可以一目了然地查看成功，失败或当前正在运行的任务数量。 树视图 跨越时间的DAG的树表示。 阅读全文
posted @ 2018-11-29 13:48
绝不原创的飞龙
阅读(39)
评论(0)
推荐(0)
浙公网安备 33010602011771号