Flink - 随笔分类(第2页) - Xiaohu_BigData

Flink1.18 Source - 数据生成器

摘要：package com.xiaohu.source; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.typeinfo.Types; import o 阅读全文

posted @ 2025-02-26 20:23 Xiaohu_BigData 阅读(53) 评论(0) 推荐(0)

Flink1.18 Source - KafkaSource

摘要：package com.xiaohu.source; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.api.common.serialization.SimpleStri 阅读全文

posted @ 2025-02-26 20:22 Xiaohu_BigData 阅读(49) 评论(0) 推荐(0)

Flink1.18 Source - fromElements

摘要：package com.xiaohu.source; import org.apache.flink.streaming.api.datastream.DataStreamSource; import org.apache.flink.streaming.api.environment.Stream 阅读全文

posted @ 2025-02-26 20:21 Xiaohu_BigData 阅读(21) 评论(0) 推荐(0)

Flink1.18 Source - FileSource

摘要：package com.xiaohu.source; import org.apache.flink.api.common.eventtime.WatermarkStrategy; import org.apache.flink.connector.file.src.FileSource; impo 阅读全文

posted @ 2025-02-26 20:21 Xiaohu_BigData 阅读(37) 评论(0) 推荐(0)

flink1.18流批一体DataStream代码编写

摘要：package com.xiaohu.wc; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.functions.KeySelector; import or 阅读全文

posted @ 2025-02-26 20:20 Xiaohu_BigData 阅读(50) 评论(0) 推荐(0)

flink1.18传统流处理环境编写

摘要：package com.xiaohu.wc; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.functions.KeySelector; import or 阅读全文

posted @ 2025-02-26 20:19 Xiaohu_BigData 阅读(24) 评论(0) 推荐(0)

Flink1.18传统批处理代码编写

摘要：package com.xiaohu.wc; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api.java.ExecutionEnvironment; import org 阅读全文

posted @ 2025-02-26 20:18 Xiaohu_BigData 阅读(27) 评论(0) 推荐(0)

Flink1.18环境代码编写

摘要：package com.xiaohu.env; import org.apache.flink.api.common.RuntimeExecutionMode; import org.apache.flink.api.common.functions.FlatMapFunction; import 阅读全文

posted @ 2025-02-26 20:18 Xiaohu_BigData 阅读(43) 评论(0) 推荐(0)

Flink Watermark 不止可以用时间戳衡量

摘要：https://mp.weixin.qq.com/s/L5PqtcmffCIq_CnUs0WS3g 阅读全文

posted @ 2021-06-30 16:34 Xiaohu_BigData 阅读(66) 评论(0) 推荐(0)

Flink学习（十九）容错机制

摘要：主要内容：一致性检查点（checkpoint）从检查点恢复到状态 Flink检查点算法保存点（savepoint）一致性检查点（checkpoint） Flink故障恢复机制的核心，就是应用状态的一致性检查点。有状态流应用的一致性检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（可以理阅读全文

posted @ 2020-06-03 21:03 Xiaohu_BigData 阅读(715) 评论(0) 推荐(0)

Flink学习（十八）状态管理与状态编程

摘要：Flink中的状态由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态；可以认为状态就是一个本地变量，可以被任务的业务逻辑访问；Flink会进行状态管理，包括状态一致性，故障处理以及高效存储和访问，以使开发人员可以专注于应用程序的逻辑。在Flink中，状态始终与特定算子相关联，为阅读全文

posted @ 2020-05-30 21:36 Xiaohu_BigData 阅读(1575) 评论(0) 推荐(0)

Flink学习（十七） Emitting to Side Outputs（侧输出）

摘要：我们在生产实践中经常会遇到这样的场景，需把输入源按照需要进行拆分，比如我期望把订单流按照金额大小进行拆分，或者把用户访问日志按照访问者的地理位置进行拆分等。面对这样的需求该如何操作呢？大部分的DataStream API的算子的输出时单一输出，也就是某种数据类型的流。除了split算子(使用spl 阅读全文

posted @ 2020-05-24 20:42 Xiaohu_BigData 阅读(846) 评论(0) 推荐(0)

Flink学习（十六） ProcessFunctionAPI（底层API）

摘要：我们之前学习的转换算子是无法访问时间的时间戳信息和水位线信息的。而这些在一些应用场景下，极为重要，例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。基于此，DataStreamAPI提供了一系列的Low-Level的转换算子，可以访问时间戳、watermark以阅读全文

posted @ 2020-05-24 20:15 Xiaohu_BigData 阅读(595) 评论(0) 推荐(0)

Flink学习（十五）滑动事件时间窗口加上水位线开始窗口时间如何确定？（底层源码）

摘要：先看上一节的代码程序 package com.wyh.windowsApi import org.apache.flink.streaming.api.TimeCharacteristic import org.apache.flink.streaming.api.functions.timesta 阅读全文

posted @ 2020-05-23 17:02 Xiaohu_BigData 阅读(2343) 评论(0) 推荐(2)

Flink学习（十四） Flink 窗口、时间和水位线

摘要：Flink 框架中支持事件时间、摄入时间和处理时间三种。而当我们在流式计算环境中数据从 Source 产生，再到转换和输出，这个过程由于网络和反压的原因会导致消息乱序。因此，需要有一个机制来解决这个问题，这个特别的机制就是“水位线”。 Flink 的窗口和时间根据窗口数据划分的不同，目前 Flink 阅读全文

posted @ 2020-05-23 16:01 Xiaohu_BigData 阅读(7737) 评论(0) 推荐(0)

Flink学习（十三） Flink 常见核心概念分析

摘要：分布式缓存熟悉 Hadoop 的你应该知道，分布式缓存最初的思想诞生于 Hadoop 框架，Hadoop 会将一些数据或者文件缓存在 HDFS 上，在分布式环境中让所有的计算节点调用同一个配置文件。在 Flink 中，Flink 框架开发者们同样将这个特性进行了实现。 Flink 提供的分布式缓存类阅读全文

posted @ 2020-05-20 20:02 Xiaohu_BigData 阅读(1263) 评论(1) 推荐(1)

Flink学习（十二） Sink到JDBC(可扩展到任何关系型数据库)

摘要：导入依赖 <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.46</version> </dependency> 编译代码 package com.wyh. 阅读全文

posted @ 2020-05-20 17:24 Xiaohu_BigData 阅读(2764) 评论(0) 推荐(0)

Flink学习（十一） Sink到Elasticsearch

摘要：导入依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-elasticsearch6_2.11</artifactId> <version>1.7.2</version> </dependen 阅读全文

posted @ 2020-05-20 17:21 Xiaohu_BigData 阅读(1919) 评论(1) 推荐(0)

Flink学习（十） Sink到Redis

摘要：添加依赖 <dependency> <groupId>org.apache.bahir</groupId> <artifactId>flink-connector-redis_2.11</artifactId> <version>1.0</version> </dependency> 编写代码 pa 阅读全文

posted @ 2020-05-19 23:30 Xiaohu_BigData 阅读(2025) 评论(0) 推荐(0)

Flink学习（九） Sink到Kafka

摘要：package com.wyh.streamingApi.sink import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.fl 阅读全文

posted @ 2020-05-19 23:28 Xiaohu_BigData 阅读(1176) 评论(0) 推荐(0)

Xiaohu_BigData

随笔分类 - Flink

公告