随笔分类 -  Flink

分享flink相关
摘要:整个Flink的Job启动是通过在Driver端通过用户的Envirement的execute()方法将用户的算子转化成StreamGraph 然后得到JobGraph通过远程RPC将这个JobGraph提交到JobManager对应的接口 JobManager转化成executionGraph.d 阅读全文
posted @ 2019-08-27 18:04 ljygz 阅读(1235) 评论(0) 推荐(1)
摘要:通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner 来看一下它的main方法中 最后被start了起来 start其实是将taskManager 端的RPC服务起起来了 看一下TaskM 阅读全文
posted @ 2019-08-26 18:40 ljygz 阅读(2821) 评论(0) 推荐(0)
摘要:都知道Flink中的角色分为Jobmanager,TaskManger 在启动脚本里面已经找到了jobmanager的启动类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint(local模式更简单直接在Driv 阅读全文
posted @ 2019-08-24 18:22 ljygz 阅读(1629) 评论(0) 推荐(0)
摘要:整个Flink集群的角色分为Jobmanager和TaskManager 以Standalone为例来看一下脚本里面是怎样启动集群的 找到源码的dist这里面包含了启动的脚本文件 standalone模式下我们通过start-cluster.sh这个脚本启动 来看下里面具体做了什么 在最后调用了jo 阅读全文
posted @ 2019-08-23 11:01 ljygz 阅读(1292) 评论(0) 推荐(0)
摘要:昨天在社区群看到有人问,为什么水印取最小的一条?这里分享一下自己的理解 首先水印一般是设置为:(事件时间 - 指定的值) 这里的作用是解决迟到数据的问题,从源码来看一下它如何解决的 先来看下windowOperator.java接收到数据以后做了什么 在processElement方法中,会遍历这条 阅读全文
posted @ 2019-08-22 10:42 ljygz 阅读(1678) 评论(2) 推荐(1)