随笔分类 -  flink

摘要：https://blog.csdn.net/qq_34936033/article/details/106179987?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-1 阅读全文

摘要：（1）设计理念 1、Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量处理,是一种伪实时。 2、Flink是基于事件驱动的，是面向流的处理框架, Flink基于每个事件一行一行地流式处理，是真正的流式计算. 阅读全文

摘要：一、processionFunctionAPI产生背景 （1）背景：转换算子是无法访问事件的时间戳信息和水位线信息的。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。这样的算子和函数能够进行一些时间上的操作，但是不能获取算子当前的Processing Time或 阅读全文

摘要：一、Time （1）Even time 1、Event Time 是事件发生的时间，一般就是数据本身携带的时间。这个时间通常是在事件到达 Flink 之前就确定的，并且可以从每个事件中获取到事件时间戳。 2、在 Event Time 中，时间取决于数据，而跟其他没什么关系。如果事件按照事件先后发生的 阅读全文

摘要：一、WordCount流程 1 import org.apache.flink.streaming.api.scala._ 2 3 object StreamWordCount { 4 def main(args:Array[String]):Unit={ 5 //创建流处理的执行环境 6 val 阅读全文

摘要：（1）flink的任务提交流程（无Dispatcher提交） 1、client向yarn提交application后，同时向HDFS上传flink的Jar包和配置。ResourceManager为application分配Container资源并通知对应的NodeManager启动Applicati 阅读全文

摘要：（1）事件驱动型 1、什么是事件驱动型应用程序：事件驱动的应用程序是有状态的应用程序，它从一个或多个事件中提取事件，并通过触发计算，状态更新或外部操作来对传入的事件做出反应。 2、事件驱动型应用程序与传统应用程序的区别： 1）程序与数据的位置：传统应用程序不要求程序和程序使用的数据位于相同的机器上， 阅读全文