Flink编程接口

Flink根据数据集类型的不同,将核心数据处理接口分为两大类
1.支持批计算的接口 DataSet API
2.支持流计算的接口 DataStream API

 

Flink将数据处理接口抽象成几层

一、Flink SQL (SQL API)
Flink提供了统一的SQL API 完成对批计算和流计算的处理。
对SQL语言具有比较低的学习成本，能够让数据分析人员和开发人员更快速地上手,
帮助其更加专注于业务本身而不是受限于复杂的编程接口。

二、Table API
Table API 将内存中的 DataStream 和 DataSet 数据集在原有的基础之上增加Schema信息，
将数据类型统一抽象成表结构。然后通过 Table API 提供的接口处理对应的数据集。
SQL API 则可以直接查询 Table API 中注册表中的数据表。
Table API 构建在 DataStream 和 DataSet 之上的同时，提供了大量面向领域语言的编程接口。
Table API 在转换为 DataStream 和 DataSet 的数据处理过程中，也应用了大量的优化规则对处理逻辑进行了优化。
同时 Table API 中的 Table 可以和 DataStream 以及 DataSet 之间进行相互转换。

三、DataStream API 和 DataSet API
DataStream API 和 DataSet API 主要面向具有开发经验的用户，用户可以
使用 DataStream API 处理无界流数据，
使用 DataSet API 处理批量数据。