随笔分类 -  flink

摘要:这里以最基础的wordcount程序说明flink应用的逻辑执行图,程序代码如下: object SetParalWC { def main(args: Array[String]): Unit = { //创建流处理执行环境 val env: StreamExecutionEnvironment 阅读全文
posted @ 2021-07-11 10:53 nineTong 阅读(231) 评论(0) 推荐(0)
摘要:Spark Streaming微批处理 微批是需要攒一批数据才进行处理,这一批数据可以看做是一个RDD,RDD的数据处理是批处理,批处理是分stage的如果上一个stage没结束下个stage就不能开始。 Flink流处理 Flink的流处理是按照事件序列逐条进行处理的,一个事件处理完成后,可以直接 阅读全文
posted @ 2021-07-08 22:27 nineTong 阅读(760) 评论(0) 推荐(0)