hdc520

摘要： https://blog.csdn.net/qq_34936033/article/details/106179987?utm_medium=distribute.pc_relevant.none-task-blog-baidujs-1 阅读全文

摘要： （1）设计理念 1、Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量处理,是一种伪实时。 2、Flink是基于事件驱动的，是面向流的处理框架, Flink基于每个事件一行一行地流式处理，是真正的流式计算. 阅读全文

摘要： 一、wordCount 基类Mapper类和Reducer类中都是只包含四个方法：setup方法，cleanup方法，run方法，map方法。在run方法中调用了上面的三个方法：setup方法，map方法，cleanup方法。其中setup方法和cleanup方法默认是不做任何操作，且它们只被执行一 阅读全文

摘要： （1）字符串表示两数 题目：输入两个非空二进制字符串且只包含数字 1 和 0。返回两数之和； 输入: a = "11", b = "1" 输出: "100" 1 class Solution { 2 public String addBinary(String a, String b) { 3 St 阅读全文

摘要： 一、processionFunctionAPI产生背景 （1）背景：转换算子是无法访问事件的时间戳信息和水位线信息的。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。这样的算子和函数能够进行一些时间上的操作，但是不能获取算子当前的Processing Time或 阅读全文

摘要： 一、Time （1）Even time 1、Event Time 是事件发生的时间，一般就是数据本身携带的时间。这个时间通常是在事件到达 Flink 之前就确定的，并且可以从每个事件中获取到事件时间戳。 2、在 Event Time 中，时间取决于数据，而跟其他没什么关系。如果事件按照事件先后发生的 阅读全文

摘要： 一、WordCount流程 1 import org.apache.flink.streaming.api.scala._ 2 3 object StreamWordCount { 4 def main(args:Array[String]):Unit={ 5 //创建流处理的执行环境 6 val 阅读全文

摘要： （1）flink的任务提交流程（无Dispatcher提交） 1、client向yarn提交application后，同时向HDFS上传flink的Jar包和配置。ResourceManager为application分配Container资源并通知对应的NodeManager启动Applicati 阅读全文

摘要： （1）事件驱动型 1、什么是事件驱动型应用程序：事件驱动的应用程序是有状态的应用程序，它从一个或多个事件中提取事件，并通过触发计算，状态更新或外部操作来对传入的事件做出反应。 2、事件驱动型应用程序与传统应用程序的区别： 1）程序与数据的位置：传统应用程序不要求程序和程序使用的数据位于相同的机器上， 阅读全文

摘要： （1）利用TreeMap排序,该方式利用小顶堆和集合重复原理的方式 , 每过来一个数据 , 跟堆顶数据进行比较 , 如果比最小的大 , 则将过来的数据替换堆顶元素 , 否则直接跳过数据 . 以此对数据进行排序。 （2）在众多的Mapper的端，首先计算出各端Mapper的TopN，然后在将每一个Ma 阅读全文