yueqiudian

摘要： onenote笔记链接 04.04 模型无法拯救不懂业务 04.05 必须自己去理解业务 04.06 了解最基础的业务形态 04.07 理解业务七步成诗法 04.08 七步成诗法之一，最核心问题：业务模式 04.09 七步成诗法，四大角色概览 04.10 七步成诗法之二，产品 04.11 七步成诗法 阅读全文

摘要： Sensors 是一种特殊类型的运算符，可连续轮询给定条件为True。 Airflow提供了用于各种系统/用例的sensors 集合，也可以使用PythonSensor设置自定义条件。 TriggerDagRunOperator可以从另一个DAG触发DAG，而ExternalTaskSensor可以轮询另一个DAG中的状态。 可以使用REST API和/或CLI从外部Airflow触发DAG。 CLI和REST API都可能在Airflow 2.0中进行更改。 阅读全文

摘要： 研究如何区分Airflow DAG中的任务依赖顺序。 解释如何使用触发器规则在Airflow DAG 的特定点实现连接。 显示如何在Airflow DAG中执行条件任务，在某些条件下可以跳过该任务。 给出有关触发规则在Airflow中如何起作用以及如何影响您的任务执行的基本概念。 演示如何使用XCom在任务之间共享状态。 阅读全文

摘要： 在运行时使用模板渲染变量 使用PythonOperator与其他运算符进行变量模板 渲染模板变量以进行调试 在外部系统上执行操作 阅读全文

摘要： 定期运行DAG 构造动态DAG以增量方式处理数据 使用回填来加载和重新处理过去的数据集 将最佳实践应用于可靠的任务 阅读全文

摘要： 在自己的机器上运行Airflow 编写并运行您的第一个工作流程 在Airflow界面上检查第一个视图 处理Airflow中失败的任务 阅读全文

摘要： 1.遇见Apache Airflow 1.2 介绍Airflow 在本书中，我们重点介绍了 Airflow，它是一个用于开发和监控工作流的开源解决方案。在本节中，我们将提供一个俯视视图，然后我们将进入一个更详细的观测Airflow是否适合您的用例。 1.2.1 在(Python)代码中灵活地定义管道 阅读全文

摘要： petl简介 petl是使用原生python编写的ETL包，数据操作逻辑简单，但是处理数据的速度较慢。 ETL pipelines petl包使用了大量的迭代器和延迟计算，在没有请求函数请求数据时，pipelines 不会开始处理数据。 import petl as etl table1 = etl 阅读全文

摘要： Self-Attention Multi-head self-attention 阅读全文

摘要： Sequence Generation Conditional Generation seq2seq Dynamic Conditional Generation Tips for Generation 阅读全文