2019年11月26日
发现sqlite
摘要： 1.前言 本文使用"发现"二字，是表示我作为一个用过mysql oracle hive以及各种nosql数据库的男人，竟然发现有一个如此常识的数据库我竟然不知道。 在配置airflow的时候，我想当然的认为airflow的元数据应该储存在像是mysql类型的数据库中，我从来没有安装过sqlite，但 阅读全文
posted @ 2019-11-26 21:28 wqbin 阅读(449) 评论(0) 推荐(0)
airflow--调度研究
摘要： 1.从调度到airflow ETL，是英文 Extract，Transform，Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程，合理安排三者以及三者子类的过程被称之为数据调度。 在数据调度中，数据流程之间的依赖主要是以下 阅读全文
posted @ 2019-11-26 17:14 wqbin 阅读(1104) 评论(0) 推荐(0)