随笔分类 - Flink
摘要:2.DataStream 2.1 主要组成 2.1.1 主要成员 DataStream代表一系列同类型数据的集合,可以通过转换操作生成新的DataStream DataStream用于表达业务转换逻辑,实际上并没有存储真实数据 主要包括两个成员: StreamExecutionEnvironment
阅读全文
摘要:1.1 下载源码并编译 git clone https://github.com/apache/flink.git cd flink git checkout -b dev-1.14 remotes/origin/release-1.14 mvn clean install -DskipTests
阅读全文
摘要:使用DataStream API开发的应用程序,首先被转换为Transformation,再被映射为StreamGraph,在客户端进行StreamGraph、JobGraph的转换,提交JobGraph到Flink集群后,Flink集群负责将JobGraph转换为ExecutionGraph,之后
阅读全文
摘要:1.序言 Flink在内部以二进制的格式将数据保存,由于普通的Java对象类型和内部二进制格式不一致,需要一套相互转换机制来进行序列化和反序列化。 2.DataStream类型系统 2.1 物理类型 Flink支持的物理类型如下图所示: 分为基础类型、数组类型、复合类型、辅助类型、泛型和其他类型,如
阅读全文

浙公网安备 33010602011771号