摘要: 以Flink源码中自带的WordCount为例,执行的入口从用户程序的execute()函数入手,execute()的源码如下: 函数内部主要有getStreamGraph()、getJobGraph()、exec.start()、exec.submitJobAndWait()等。getStream 阅读全文
posted @ 2018-03-17 18:57 liurio 阅读(7046) 评论(1) 推荐(3) 编辑
摘要: 环境准备 master:171;slave:171,172;flink版本:1.3.0 下载地址:http://archive.apache.org/dist/flink/flink-1.3.0/ 集群安装 1.在yita171中,解压flink-1.3.0-bin-hadoop26-scala_2 阅读全文
posted @ 2018-03-17 17:33 liurio 阅读(827) 评论(0) 推荐(0) 编辑
摘要: 1、Flink架构 Flink系统的架构与Spark类似,是一个基于Master-Slave风格的架构,如下图所示: Flink集群启动时,会启动一个JobManager进程、至少一个TaskManager进程。在Local模式下,会在同一个JVM内部启动一个JobManager进程和TaskMan 阅读全文
posted @ 2018-03-17 16:40 liurio 阅读(993) 评论(0) 推荐(0) 编辑
摘要: Flink 是一个针对流数据和批数据的分布式处理引擎。它主要是由 Java 代码实现。目前主要还是依靠开源社区的贡献而发展。对 Flink 而言,其所要处理的主要场景就是流数据,批数据只是流数据的一个极限特例而已。Flink 会把所有任务当成流来处理,这也是其最大的特点。Flink 可以支持本地的快 阅读全文
posted @ 2018-03-17 16:17 liurio 阅读(1183) 评论(0) 推荐(0) 编辑
摘要: Stream、Transformation、Operator 用户实现的Flink程序是由Stream和Transformation这两个基本构建块组成,其中Stream是一个中间结果数据,而Transformation是一个操作,它对一个或多个输入Stream进行计算处理,输出一个或多个结果Str 阅读全文
posted @ 2018-03-17 16:14 liurio 阅读(643) 评论(0) 推荐(0) 编辑
摘要: Flink简介 Flink组件栈 Flink特性 流处理特性 API支持 Libraries支持 整合支持 Flink概念 Stream、Transformation、Operator Parallel Dataflow Task、Operator Chain Window Time Flink架构 阅读全文
posted @ 2018-03-17 15:32 liurio 阅读(871) 评论(0) 推荐(1) 编辑