随笔分类 -  Flink

基于 DataStream API 实现欺诈检测
摘要：基于 DataStream API 实现欺诈检测 实时场景 Flink的定时器 package com.shujia.flink.core import org.apache.flink.api.common.functions.RuntimeContext import org.apache.fl 阅读全文
posted @ 2022-03-22 15:41 阿伟宝座 阅读(184) 评论(0) 推荐(0)
Flink基石----State and Checkpoint
摘要：Flink基石 State and Checkpoint Flink State and Checkpoint Flink 通过 State 和 Checkpoint 来实现容错和数据处理的唯一一次 State 丰富的State API。 ValueState<T>: 保存一个可以更新和检索的值（如 阅读全文
posted @ 2022-03-22 15:40 阿伟宝座 阅读(248) 评论(0) 推荐(0)
Flink 窗口的底层 API
摘要：Flink 窗口的底层 API 使用窗口的复杂处理 process : flink 底层 API , 可以操作 flink 的时间，事件，状态 W <: Wondow -- Scala泛型通配符，向下限定，W可以是Wondow及其子类 package com.shujia.flink.window 阅读全文
posted @ 2022-03-22 15:34 阿伟宝座 阅读(106) 评论(0) 推荐(0)
Flink基石----Window
摘要：Flink基石 Window Flink中的Window包含三部分： 1、Time Window 时间窗口 2、Session Window 会话窗口（待没有数据的时候开始计算） 3、Count Window 统计窗口（每n条数据计算一次） 一、Time Window 时间窗口 时间窗口包含四部分： 阅读全文
posted @ 2022-03-21 21:55 阿伟宝座 阅读(164) 评论(0) 推荐(0)
Flink 基石----Time
摘要：Flink 基石、Flink Time、事件时间、Watermark水位线 Flink 基石 Flink Time 事件时间 代码示例 package com.shujia.flink.core import org.apache.flink.streaming.api.TimeCharacteri 阅读全文
posted @ 2022-03-20 21:59 阿伟宝座 阅读(80) 评论(0) 推荐(0)
Flink 共享槽位、如何判断Flink需要使用多少资源
摘要：Flink 共享槽位、如何判断Flink需要使用多少资源 并行数据流 上图中有5个Task，那么这5个task是如何部署的呢？ 任务槽和资源 Flink 并不是这样部署的 共享槽位 Flink并不是将task合并，而是上游的task和下游的task可以共享一个槽位 所以Flink需要使用多少资源和t 阅读全文
posted @ 2022-03-20 20:41 阿伟宝座 阅读(552) 评论(0) 推荐(0)
Flink的并行度问题
摘要：Flink的并行度问题 package com.shujia.flink.core import org.apache.flink.streaming.api.datastream.DataStreamSink import org.apache.flink.streaming.api.scala. 阅读全文
posted @ 2022-03-20 20:15 阿伟宝座 阅读(598) 评论(0) 推荐(0)
Flink 环境的搭建、独立集群、Flink on Yarn、访问Flink web界面、Flink提交任务的三种方式、Flink读取HDFS上的数据
摘要：Flink 运行方式 三种运行方式（与spark相似）： 1、local 本地测试 2、Standallone Cluster 独立集群（做实时计算，不需要hadoop，该独立集群可能用的上） 3、Flink on Yarn 推荐 Standallone Cluster 独立集群 独立集群是不依赖h 阅读全文
posted @ 2022-03-20 17:11 阿伟宝座 阅读(8395) 评论(0) 推荐(2)
Flink Sink：接收器
摘要：Flink Sink：接收器 flink代码分为三部分： 1、Source 数据源，读取数据 2、Transformation 转换，对数据进行处理，也就是算子 3、Sink 将数据发出去 Flink 将转换计算后的数据发送的地点 。 Flink 常见的 Sink 大概有如下几类： 1、写入文件 2 阅读全文
posted @ 2022-03-20 13:15 阿伟宝座 阅读(527) 评论(0) 推荐(0)
Flink的算子
摘要：Flink的算子 flink代码分为三部分： 1、Source 数据源，读取数据 2、Transformation 转换，对数据进行处理，也就是算子 3、Sink 将数据发出去 Transformation：数据转换的各种操作，有Map / FlatMap / Filter / KeyBy / Re 阅读全文
posted @ 2022-03-20 13:14 阿伟宝座 阅读(3422) 评论(0) 推荐(0)
Flink的Source----数据源
摘要：Flink的Source 数据源 flink代码分为三部分： 1、Source 数据源，读取数据 2、Transformation 转换，对数据进行处理，也就是算子 3、Sink 将数据发出去 Flink的Source分为是四大类 1、基于本地集合的 source 得出的是有界流 2、基于文件的 s 阅读全文
posted @ 2022-03-20 13:11 阿伟宝座 阅读(1687) 评论(0) 推荐(0)
flink与spark执行的区别
摘要：flink与spark执行的区别 (1)spark可以在map端进行预聚合，flink却不可以； flink数据直接发送到下游，并且每一条数据都会被处理 (2)spark先执行maptask，再执行reducetask； flink是maptask和reducetask同时执行，等待数据过来 (3) 阅读全文
posted @ 2022-03-20 13:08 阿伟宝座 阅读(358) 评论(0) 推荐(0)
Flink流处理---WordCount：统计单词数量
摘要：Flink流处理 WordCount：统计单词数量 注意：导包的时候需要手动修改一下 修改为import org.apache.flink.streaming.api.scala._ package com.shujia.flink.core import org.apache.flink.stre 阅读全文
posted @ 2022-03-20 13:06 阿伟宝座 阅读(987) 评论(0) 推荐(0)
Flink流处理测试
摘要：Flink流处理测试 package com.shujia.flink.core import org.apache.flink.streaming.api.scala._ object Demo1WordCount { def main(args: Array[String]): Unit = { 阅读全文
posted @ 2022-03-20 13:05 阿伟宝座 阅读(405) 评论(0) 推荐(0)
Flink的介绍
摘要：Flink前言 Flink和spark的功能很相似，spark能做的flink也能做，flink能做的spark也能做； 1、flink和spark本质的区别 flink：侧重于做实时计算 spark：侧重于做离线计算 实时计算和离线计算的特点 2、流处理和批处理 流处理和批处理：也可以叫做实时计算 阅读全文
posted @ 2022-03-20 13:02 阿伟宝座 阅读(341) 评论(0) 推荐(0)