摘要：
官网链接 https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/deployment/hadoop.html 方法一： 方法二： 个人体验 在我配置了Hadoop_classpath之后，还是会显示 org.apach 阅读全文
posted @ 2021-07-26 15:07
民宿
阅读(164)
评论(0)
推荐(0)
摘要：
Flink1.10.0编译hadoop2.7.2 编译flink-shaded-hadoop-2-uber 从Flink 1.11开始，flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。如果想建立flink-shaded对供应商特定的Hadoop版本，您必须首 阅读全文
posted @ 2021-07-26 14:36
民宿
阅读(561)
评论(0)
推荐(0)
摘要：
StreamOperator是任务执行过程中实际处理类，上层由StreamTask调用，下层调用UserFunction,列举一些常见的StreamOperator env.addSource对应StreamSource dataStream.map 对应StreamMap dataStrem.wi 阅读全文
posted @ 2021-07-26 13:46
民宿
阅读(205)
评论(0)
推荐(0)
摘要：
问：数据工程师最期望数据怎么来？ 答：按顺序来。 MapReduce当初能用起来，就是因为Map阶段对所有数据都进行排序了，后面的Reduce阶段就可以直接用排序好的数据了。 批处理的时候因为数据已经落地了，咱可以慢慢排序。但是流式数据都是一条一条过来的，这个时候数据到达的时间和出发时的顺序不一致会 阅读全文
posted @ 2021-07-26 13:42
民宿
阅读(824)
评论(0)
推荐(0)
摘要：
watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerWithPeriodicWatermarks方式，使用方式如下： //指定为evenTime时间语义 env.setStreamTimeCharacte 阅读全文
posted @ 2021-07-26 13:35
民宿
阅读(261)
评论(0)
推荐(1)
摘要：
在Flink中，EventTime即事件时间，能够反映事件在某个时间点发生的真实情况，即使在任务重跑情况也能够被还原，计算某一段时间内的数据，那么只需要将EventTime范围的数据聚合计算即可，但是数据在上报、传输过程中难免会发生数据延时，进而造成数据乱序，就需要考虑何时去触发这个计算，Flink 阅读全文
posted @ 2021-07-26 13:30
民宿
阅读(142)
评论(0)
推荐(0)
摘要：
一、时间语义 Flink在流处理中提供了不同的时间语义支持，其中有两种核心的时间语义：ProcessingTime与EventTime。 ProcessingTime表示的是处理时间，在处理时间流处理中，所有涉及的时间计算都是以本地机器的时间为准，例如每5分钟的一个时间窗口操作，0-5分钟的窗口触发 阅读全文
posted @ 2021-07-26 13:27
民宿
阅读(326)
评论(0)
推荐(0)
摘要：
checkpoint是保证Flink状态容错的重要机制，通过checkpoint可以实现不同的数据语义，也就是我们所说的Exactly-Once与At-Least-Once，通过不同的checkpoint机制实现不同的数据语义，这里所说的机制表示的是checkpoint对齐机制：对齐，实现Exact 阅读全文
posted @ 2021-07-26 13:22
民宿
阅读(232)
评论(0)
推荐(0)
摘要：
无限数据流的统计问题 今天给大家分享一下Flink的Windows。Hive的窗口函数其实跟MySQL的差不多，因为他们都是基于离线数据的聚合。Flink的windows和Hive的窗口函数不完全一样。 离线数据处理好理解，数据已经落地在一张表里，咱可以通过partition by，按照某个字段进行 阅读全文
posted @ 2021-07-26 10:36
民宿
阅读(495)
评论(0)
推荐(0)
摘要：
所有的数据处理工具都面临数据高可靠、高可用的问题，一旦服务发生问题，如何保证数据不会丢失？ 高可靠解决方案 MySQL用BinLog来解决这个问题，它把每一步事务操作都记录下来，一旦发生问题，可以追踪binlog找到每一步的操作记录。MySQL还会提供快照、备份的功能。 HDFS通过多副本和ZooK 阅读全文
posted @ 2021-07-26 10:31
民宿
阅读(373)
评论(0)
推荐(0)
浙公网安备 33010602011771号