摘要：
Flink 基石、Flink Time、事件时间、Watermark水位线 Flink 基石 Flink Time 事件时间 代码示例 package com.shujia.flink.core import org.apache.flink.streaming.api.TimeCharacteri 阅读全文
posted @ 2022-03-20 21:59
阿伟宝座
阅读(79)
评论(0)
推荐(0)
摘要：
Flink 共享槽位、如何判断Flink需要使用多少资源 并行数据流 上图中有5个Task，那么这5个task是如何部署的呢？ 任务槽和资源 Flink 并不是这样部署的 共享槽位 Flink并不是将task合并，而是上游的task和下游的task可以共享一个槽位 所以Flink需要使用多少资源和t 阅读全文
posted @ 2022-03-20 20:41
阿伟宝座
阅读(542)
评论(0)
推荐(0)
摘要：
Flink的并行度问题 package com.shujia.flink.core import org.apache.flink.streaming.api.datastream.DataStreamSink import org.apache.flink.streaming.api.scala. 阅读全文
posted @ 2022-03-20 20:15
阿伟宝座
阅读(593)
评论(0)
推荐(0)
摘要：
Flink 运行方式 三种运行方式（与spark相似）： 1、local 本地测试 2、Standallone Cluster 独立集群（做实时计算，不需要hadoop，该独立集群可能用的上） 3、Flink on Yarn 推荐 Standallone Cluster 独立集群 独立集群是不依赖h 阅读全文
posted @ 2022-03-20 17:11
阿伟宝座
阅读(8329)
评论(0)
推荐(2)
摘要：
Flink Sink：接收器 flink代码分为三部分： 1、Source 数据源，读取数据 2、Transformation 转换，对数据进行处理，也就是算子 3、Sink 将数据发出去 Flink 将转换计算后的数据发送的地点 。 Flink 常见的 Sink 大概有如下几类： 1、写入文件 2 阅读全文
posted @ 2022-03-20 13:15
阿伟宝座
阅读(506)
评论(0)
推荐(0)
摘要：
Flink的算子 flink代码分为三部分： 1、Source 数据源，读取数据 2、Transformation 转换，对数据进行处理，也就是算子 3、Sink 将数据发出去 Transformation：数据转换的各种操作，有Map / FlatMap / Filter / KeyBy / Re 阅读全文
posted @ 2022-03-20 13:14
阿伟宝座
阅读(3388)
评论(0)
推荐(0)
摘要：
Flink的Source 数据源 flink代码分为三部分： 1、Source 数据源，读取数据 2、Transformation 转换，对数据进行处理，也就是算子 3、Sink 将数据发出去 Flink的Source分为是四大类 1、基于本地集合的 source 得出的是有界流 2、基于文件的 s 阅读全文
posted @ 2022-03-20 13:11
阿伟宝座
阅读(1673)
评论(0)
推荐(0)
摘要：
flink与spark执行的区别 (1)spark可以在map端进行预聚合，flink却不可以； flink数据直接发送到下游，并且每一条数据都会被处理 (2)spark先执行maptask，再执行reducetask； flink是maptask和reducetask同时执行，等待数据过来 (3) 阅读全文
posted @ 2022-03-20 13:08
阿伟宝座
阅读(350)
评论(0)
推荐(0)
摘要：
Flink流处理 WordCount：统计单词数量 注意：导包的时候需要手动修改一下 修改为import org.apache.flink.streaming.api.scala._ package com.shujia.flink.core import org.apache.flink.stre 阅读全文
posted @ 2022-03-20 13:06
阿伟宝座
阅读(985)
评论(0)
推荐(0)
摘要：
Flink流处理测试 package com.shujia.flink.core import org.apache.flink.streaming.api.scala._ object Demo1WordCount { def main(args: Array[String]): Unit = { 阅读全文
posted @ 2022-03-20 13:05
阿伟宝座
阅读(398)
评论(0)
推荐(0)
摘要：
Flink前言 Flink和spark的功能很相似，spark能做的flink也能做，flink能做的spark也能做； 1、flink和spark本质的区别 flink：侧重于做实时计算 spark：侧重于做离线计算 实时计算和离线计算的特点 2、流处理和批处理 流处理和批处理：也可以叫做实时计算 阅读全文
posted @ 2022-03-20 13:02
阿伟宝座
阅读(328)
评论(0)
推荐(0)
浙公网安备 33010602011771号