民宿 - 博客园

2021年7月27日

摘要：说明：以下所有都基于Flink1.11版本代码都精简过了简单栗子 public class MysqlSinkExample { public static void main(String[] args) throws Exception { StreamExecutionEnvironmen 阅读全文

posted @ 2021-07-27 16:24 民宿阅读(857) 评论(0) 推荐(1)

Gerrit工作流程及使用手册

摘要：今天偶然看了下图片的流量，发现这篇讲Gerrit的流量好高，果然一看这篇blog的阅读量已经好几万了。为了不误导大家，我还是做下更新：本人已经很久不使用Gerrit了，现在用GitLab，界面非常美观，使用方法也很简单，而且也能满足之前的代码审核的要求。所以大家也都转去GitLab吧。关于GitLa 阅读全文

posted @ 2021-07-27 13:35 民宿阅读(1452) 评论(0) 推荐(0)

2021年7月26日

Flink ON Yarn 配置

摘要：官网链接 https://ci.apache.org/projects/flink/flink-docs-release-1.10/zh/ops/deployment/hadoop.html 方法一：方法二：个人体验在我配置了Hadoop_classpath之后，还是会显示 org.apach 阅读全文

posted @ 2021-07-26 15:07 民宿阅读(164) 评论(0) 推荐(0)

Flink1.10.0编译hadoop2.7.2 编译flink-shaded-hadoop-2-uber

摘要： Flink1.10.0编译hadoop2.7.2 编译flink-shaded-hadoop-2-uber 从Flink 1.11开始，flink-shaded-hadoop-2-uberFlink项目不再正式支持使用发行版。如果想建立flink-shaded对供应商特定的Hadoop版本，您必须首阅读全文

posted @ 2021-07-26 14:36 民宿阅读(561) 评论(0) 推荐(0)

StreamOperator源码简析

摘要： StreamOperator是任务执行过程中实际处理类，上层由StreamTask调用，下层调用UserFunction,列举一些常见的StreamOperator env.addSource对应StreamSource dataStream.map 对应StreamMap dataStrem.wi 阅读全文

posted @ 2021-07-26 13:46 民宿阅读(205) 评论(0) 推荐(0)

Flink如何巧用WaterMark机制解决乱序问题

摘要：问：数据工程师最期望数据怎么来？答：按顺序来。 MapReduce当初能用起来，就是因为Map阶段对所有数据都进行排序了，后面的Reduce阶段就可以直接用排序好的数据了。批处理的时候因为数据已经落地了，咱可以慢慢排序。但是流式数据都是一条一条过来的，这个时候数据到达的时间和出发时的顺序不一致会阅读全文

posted @ 2021-07-26 13:42 民宿阅读(824) 评论(0) 推荐(0)

Flink中Watermark定时生成源码分析

摘要： watermark的生成策略有两种：一种是周期性生成，另外一种是根据特定标记生成。在实际使用中大多数情况下会选择周期性生成方式也就是AssignerWithPeriodicWatermarks方式，使用方式如下： //指定为evenTime时间语义 env.setStreamTimeCharacte 阅读全文

posted @ 2021-07-26 13:35 民宿阅读(261) 评论(0) 推荐(1)

关于EventTime所带来的问题

摘要：在Flink中，EventTime即事件时间，能够反映事件在某个时间点发生的真实情况，即使在任务重跑情况也能够被还原，计算某一段时间内的数据，那么只需要将EventTime范围的数据聚合计算即可，但是数据在上报、传输过程中难免会发生数据延时，进而造成数据乱序，就需要考虑何时去触发这个计算，Flink 阅读全文

posted @ 2021-07-26 13:30 民宿阅读(142) 评论(0) 推荐(0)

你应该了解的Watermark

摘要：一、时间语义 Flink在流处理中提供了不同的时间语义支持，其中有两种核心的时间语义：ProcessingTime与EventTime。 ProcessingTime表示的是处理时间，在处理时间流处理中，所有涉及的时间计算都是以本地机器的时间为准，例如每5分钟的一个时间窗口操作，0-5分钟的窗口触发阅读全文

posted @ 2021-07-26 13:27 民宿阅读(326) 评论(0) 推荐(0)

Checkpoint对齐机制源码分析

摘要： checkpoint是保证Flink状态容错的重要机制，通过checkpoint可以实现不同的数据语义，也就是我们所说的Exactly-Once与At-Least-Once，通过不同的checkpoint机制实现不同的数据语义，这里所说的机制表示的是checkpoint对齐机制：对齐，实现Exact 阅读全文

posted @ 2021-07-26 13:22 民宿阅读(232) 评论(0) 推荐(0)

民宿

您好，我叫李玉民，点点关注交个朋友吧

公告