摘要：
Flink中的窗口类型： 每个窗口只会保存当前的状态，会在窗口结束后释放掉状态 时间窗口（窗口时间含左不含右）： 滚动窗口 滑动窗口 会话窗口 计数窗口： 滚动计数窗口 滑动计数窗口 全局窗口 滚动窗口： // 滚动窗口 offset代表偏移量，后续在计算窗口的时间中会用到 TumblingProc 阅读全文
posted @ 2021-08-27 10:35
iiiliii
阅读(517)
评论(0)
推荐(0)
摘要：
在流处理程序中，往往会涉及到关联维表的操作 对于维表数据量较大的：我们可以使用异步IO+Guava Cache的方式，通过访问本地缓存来关联数据，缓存中没有的数据通过异步IO去查询，将查询的结果put到Guava Cache中，通过Guava Cache的缓存失效来做到维表数据的定时更新。 对于维表 阅读全文
posted @ 2021-08-26 16:30
iiiliii
阅读(1837)
评论(0)
推荐(1)
摘要：
用 DataStream API 编写的程序通常以各种形式保存状态： 在 Window 触发之前要么收集元素、要么聚合 转换函数可以使用 key/value 格式的状态接口来存储状态 转换函数可以实现 CheckpointedFunction 接口，使其本地变量具有容错能力 在介绍状态之前，先了解一 阅读全文
posted @ 2021-08-26 15:43
iiiliii
阅读(274)
评论(0)
推荐(1)
摘要：
在使用yarn cluster模式提交flink的任务时候，往往会涉及到很多内存参数的配置 例如下面的提交命令： flink run -d -m yarn-cluster -yjm 512 -ytm 5028 -yD jobmanager.memory.off-heap.size=64m -yD j 阅读全文
posted @ 2021-08-15 19:35
iiiliii
阅读(2430)
评论(1)
推荐(0)
摘要：
Slot和TaskManager 首先Flink中每个真正执行任务的taskManager都是一个JVM进程，其在多线程环境中执行一个或者多个子任务，执行的任务可以看成一个线程，线程所占据的资源可以看做是slot。 那么为了控制一个JVM同时能运行的任务数量，flink引入了task slot的概念 阅读全文
posted @ 2021-08-09 20:15
iiiliii
阅读(1087)
评论(1)
推荐(1)
摘要：
Flink On Yarn的两种模式： Session模式 Cluster模式 版本准备： CentOS 7.8 （ 本人是三台，主节点名为：pmaster，备用节点名为：pnode1 ，子节点：pnode2 ） Zookeeper 3.6.3 Hadoop 2.10.1 Flink 1.12 安装 阅读全文
posted @ 2021-08-09 17:49
iiiliii
阅读(3457)
评论(3)
推荐(4)
浙公网安备 33010602011771号