Coreqi

摘要： 1. sql-client 准备 1.基于yarn-session模式 1.准备Flink集群 参考地址：Flink1.18 & YARN 会话模式 2.启动 Flink 的 sql-client /usr/flink/flink-1.18.0/bin/sql-client.sh embedded 阅读全文

摘要： 在 Flink 中，有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点。 1.检查点（Checkpoint） 在流处理中，我们可以用存档读档的思路，就是将之前某个时间点所有的状态保存下来，这份“存档”就是所谓的“检查点”（checkpoint）。 遇到故障重启的时候，我们可以从检查点中“ 阅读全文

摘要： 与 Keyed State 中的 ListState 一样，将状态表示为一组数据的列表。 与 Keyed State 中的列表状态的区别是：在算子状态的上下文中，不会按键（key）分别 处理状态，所以每一个并行子任务上只会保留一个“列表”（list），也就是当前并行子任务上 所有状态项的集合。列表中 阅读全文

摘要： 流处理 API，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实 都是基于 DataStream 进行转换的，所以可以统称为 DataStream API。 在 Flink 更底层，我们可以不定义任何具体的算子（比如 map，filter，或者 window），而只是提炼出一个统一的“处理”（p 阅读全文

摘要： 在批处理统计中，我们可以等待一批数据都到齐后，统一处理。但是在实时处理统计中，我们是来一条就得处理一条，那么我们怎么统计最近一段时间内的数据呢？引入“窗口”。 所谓的“窗口”，一般就是划定的一段时间范围，也就是“时间窗”；对在这范围内的数据进行处理，就是所谓的窗口计算。所以窗口和时间往往是分不开的。 阅读全文

摘要： 流程如下 Environment(执行环境) -> Source(数据源) -> Transformation(转换操作) -> Sink(输出) 1.Environment(执行环境) package cn.coreqi.env; import org.apache.flink.api.commo 阅读全文

摘要： 本文基于：Flink Java Demo 1.开发中开启WEB UI 1.添加依赖 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web</artifactId> <version>1.18.0< 阅读全文

摘要： 本文将历史服务器的日志信息保存到Hadoop 的 HDFS上，也可选择保存到本地磁盘上。 1.在HDFS上创建保存日志的文件夹 hadoop fs -mkdir -p /logs/flink-job 2.修改flink配置文件，添加历史服务器相关配置 vi /usr/flink/flink-1.18 阅读全文

摘要： 应用模式：用户代码在JobManger上解析、运行，而不是在客户端上进行 YARN上部署的过程： 客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上，Flin 阅读全文

摘要： 单作业模式：提交作业时才启动Flink集群。不用事先启动，直接flink run即可，注意需要添加-t yarn-per-job参数用于区分。 YARN上部署的过程： 客户端把 Flink 应用提交给 Yarn 的 ResourceManager，Yarn 的 ResourceManager 会向 阅读全文