随笔分类 -  Flink

摘要：Flink中的状态： 算子状态（Operatiot State） 键控状态（Keyed State） 状态后端（State Backends） 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态 可以认为就是一个本地变量，可以被任务的业务逻辑访问 Flink会进行状态管理，包括状态 阅读全文

摘要：Event Time：事件创建的时间 Ingestion Time：数据进入Flink的时间 Processing Time：执行操作算子的本地系统时间，与机器相关 Flink中默认的时间语义是Processing Time； 如果使用EventTime语义，但是数据中不一定会有Event Time 阅读全文

摘要：Window类型： 滚动窗口（Tumbling Window） 将数据依据固定的窗口长度对数据进行切分 窗口长度固定（窗口依据时间或者数量划分），每个窗口数据没有重叠 滑动窗口（Sliding Window） 滑动窗口是固定窗口的更广义的一种形式，滑动窗口由固定的窗口长度和滑动步长组成 窗口长度固定 阅读全文

摘要：一、flink运行时组件： 1、JobManager（作业管理器） 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager所控制执行。 JobManager会先接收到要执行的应用程序，这个应用程序包括：作业图（JobGraph）、逻辑数据流图（logical dat 阅读全文

摘要：public class StreamWordCount { public static void main(String[] args) throws Exception { StreamExecutionEnvironment env = StreamExecutionEnvironment.g 阅读全文

摘要：public class wordcount { public static void main(String[] args) throws Exception { ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnviron 阅读全文