2020年7月23日
9 Process Function (Low-Level API)
摘要： 一 8个Process Function (1) ProcessFunction 在没有开窗和keyby的情况下使用 (2) KeyedProcessFunction 在keyby之后使用 (3) CoProcessFunction (4) ProcessJoinFunction (5) Broad 阅读全文
posted @ 2020-07-23 23:30 哥的寂寞你不懂 阅读(160) 评论(0) 推荐(0)
8 基于时间和窗口操作符
摘要： 一 水位线 水位线 = 到达最大时间 - 延时时间 水位线是真正的事件时间 二 设置事件事件 env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime) 如果要使用 processing time，将 TimeCharacteristi 阅读全文
posted @ 2020-07-23 07:53 哥的寂寞你不懂 阅读(110) 评论(0) 推荐(0)
2020年7月22日
7 window API
摘要： 一 时间窗口 我们可以用window函数来创建一个窗口,需要提供窗口分配器. 但有些提供了更方便的方法来创建窗口. 开窗之前必须要先使用keyby函数进行分区. 1. 滚动时间窗口 timeWindow(Time.seconds(5)) 2. 滑动窗口 timeWindow(Time.seconds 阅读全文
posted @ 2020-07-22 21:35 哥的寂寞你不懂 阅读(118) 评论(0) 推荐(0)
6 Flink API
摘要： 1. map map和spark的map一样 map(r => { (r.id,r.name) }) 也可以自定义mapfunction package test2 import org.apache.flink.api.common.functions.MapFunction import org 阅读全文
posted @ 2020-07-22 08:31 哥的寂寞你不懂 阅读(186) 评论(0) 推荐(0)
5 flink sink
摘要： 一 从kafka构建source 和 sink def main(args: Array[String]): Unit = { val env = StreamExecutionEnvironment.getExecutionEnvironment env.setParallelism(1) val 阅读全文
posted @ 2020-07-22 08:14 哥的寂寞你不懂 阅读(198) 评论(0) 推荐(0)
2020年7月16日
4 Flink source
摘要： 一 构建环境 val localEnv = StreamExecutionEnvironment .createLocalEnvironment() //构建本地环境 val remoteEnv = StreamExecutionEnvironment .createRemoteEnvironmen 阅读全文
posted @ 2020-07-16 23:01 哥的寂寞你不懂 阅读(189) 评论(0) 推荐(0)
3 Flink运行架构
摘要： 一 主要组件 1 作业管理器（JobManager） 一个app有一个jobmanager, 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的JobManager 所控制执行。 JobManager 会先接收到要执行的应用程序，这个应用程序会包括：作业图（JobGraph）、逻辑 阅读全文
posted @ 2020-07-16 21:22 哥的寂寞你不懂 阅读(173) 评论(0) 推荐(0)
2 Flink配置文件的参数
摘要： jobmanager.heap.size: 1024m //jobmamager 的堆内存大小 taskmanager.memory.process.size: 1728m //taskmanager的内存大小,(包括堆外内存) taskmanager.numberOfTaskSlots: 1 // 阅读全文
posted @ 2020-07-16 19:31 哥的寂寞你不懂 阅读(341) 评论(0) 推荐(0)
1. 构建flink程序
摘要： 一 建工程 1.使用 Intellij IDEA 创建一个 Maven 新项目2. 勾选 Create from archetype，然后点击 Add Archetype 按钮3. GroupId 中输入 org.apache.flink， ArtifactId 中输入 flink-quicksta 阅读全文
posted @ 2020-07-16 13:38 哥的寂寞你不懂 阅读(230) 评论(0) 推荐(0)
点击右上角即可分享
微信分享提示