ADF 第七篇：控制流概述

Azure Data Factory 系列博客：

 

控制流的作用就是在管道的Activity之间设置约束条件，只有满足一定的约束条件时，才会执行相应的Activity。控制流主要分为优先约束和Activity。

一，控制流的优先约束

从直观上来看，控制流的优先约束使得Activity在Pipeline中按照一定的条件进行分支和连接。利用控制流可以实现如下场景：

 

如果Copy data活动执行成功，那么管道将沿着OnSuccess的控制流，执行“Send Success Email”这一分支，发送成功Copy操作的详细信息； 如果Copy data活动执行失败，那么管道将沿着OnFailure的控制流，执行“Send Fail Email”这一分支，发送Copy操作失败的详细信息。

1，OnSuccess分支

每一个Activity都会默认创建一个OnSuccess控制流，该控制流线的颜色是绿色的，拖动Activity右侧的绿色方块，UI会自动出现一个绿色的箭头，把箭头拖到下一个Web Activity上，就完成了OnSuccess控制流的设置。

2，添加OnFail分支

点击任意一个Activity右下方的+号，弹出"Add activity on"列表，选择 Failure，就会在Activity的右方弹出一个红色的矩形，跟OnSuccess控制流一样，拖放到下一个Activity上，就完成了OnFail控制流的设置。

3，利用控制流约束控制邮件的发送

如下图所示，利用控制流来控制邮件的发送 ，当Copy data Activity执行成功时，发送copy成功执行的消息；当Copy data Activity失败时，发送Copy 执行失败的消息。

二，控制流Activity

控制流的Activity主要用于变量、循环和条件：

  • Append variable：向 Array类型的变量中追加变量值
  • Set variable：设置变量的值
  • Filter：在管道中使用 Filter 活动，把筛选器表达式应用到输入数组。
  • Lookup：用于从数据源中检索数据集，返回执行查询或存储过程的结果，如果查找Activity的输出是单行的，那么该Activity的输出可以用于ForEach活动。
  • ForEach：循环执行内部的活动，循环的次数由items指定的集合决定，依次访问集合中每一个元素。
  • If condition：If-Else 分支，条件为True时，执行Activity1，条件为False时，执行另一个Activity。
  • Switch：分支切换，根据条件，执行不同分支的Activity
  • Validation：验证活动，它会阻止Pipeline的执行，直到应用的数据集存在或超时为止。
  • Until：Until 活动提供的功能与 do-until 循环结构以编程语言提供的功能相同。 它在循环中将执行一组活动，直到与活动相关联的条件的计算结果为 true，你可以在数据工厂中为 Until 活动指定超时值。

1，ForEach活动

ForEach 活动在管道中定义重复的控制流。 此活动用于循环访问集合，并在循环中执行指定的活动。 此活动的循环实现类似于采用编程语言的 Foreach 循环结构。点击ForEach图标内部的“笔”，向内部添加活动。

ForEach活动的核心配置是Items属性，该属性需要通过“Add dynamic content”来配置，用户可以通过系统变量（System variables）、Functions、Variables、和Activity outputs来作为Iteration。

要把Activity outpus作为ForEach活动的Iteration，首先要建立Activity和ForEach活动的优先约束，把上游Activity的输出作为Iteration，执行ForEach活动内的Activity，直到穷尽数据集的所有item。

2，Lookup活动

Lookup活动的作用就是从Table、Query或Stored procedure中查找出数据行，为了保证Lookup活动的查询性能，Lookup 活动的限制：最多可以返回 5000 行；如果结果集包含的记录超过此范围，将返回前 5000 行。Lookup活动的输出最多支持 4 MB 左右。如果大小超过此限制，则活动会失败。目前，Lookup活动在超时前的最长持续时间为 24 小时。

如果勾选"First row only"，那么表示Lookup活动只返回第一行，如果不勾选，那么返回所有行，但是要满足Lookup活动的限制。

Looup活动输出的结果可以作为ForEach的迭代器。

 

参考文档：

Branching and chaining activities in an Azure Data Factory pipeline using the Azure portal

posted @ 2020-12-24 14:56  悦光阴  阅读(1422)  评论(0)  编辑  收藏  举报