随笔分类 -  flink

FlinkSql使用入门
摘要：flinkapi层次结构图 其中，flinksql处于flink最高层的api，相当于api来讲，用法更易理解，但是没有api灵活些，下面简单介绍下flinksql的简单应用。 flinksql样例 备注：使用的是1.13.0版本 消费kafka CREATE TABLE bg_action ( b 阅读全文
posted @ 2022-07-21 21:31 Coding_Now 阅读(875) 评论(1) 推荐(0)
flink的checkpoint
摘要：概述 本文主要是基于flink不同版本之间的checkpoint机制进行阐述，主要是对比1.11之后和之前的差异，使得可以针对不同的场景使用不同的checkpoint方式。 什么是checkpoint checkpoint是flink中的一种容错机制，使得任务失败的时候可以进行重启而不丢失之前的一些 阅读全文
posted @ 2020-12-14 18:41 Coding_Now 阅读(744) 评论(0) 推荐(0)
flink的runtime核心机制
摘要：综述 本文主要介绍Flink Runtime的作业执行的核心机制。首先介绍Flink Runtime的整理架构以及Job的基本执行流程，然后介绍在这个过程中，Flink是怎么进行资源管理及作业调度。 Flink Runtime整体架构 Flink 的整体架构如图 1 所示。Flink 是可以运行在多 阅读全文
posted @ 2020-05-04 13:29 Coding_Now 阅读(832) 评论(0) 推荐(1)
Flink的DataStream的详细介绍
摘要：一：流处理的基本概念 流处理系统本身有很多自己的特点。一般来说，由于需要支持无限数据集的处理，流处理系统一般采用一种数据驱动的处理方式。它会提前设置一些算子，然后等到数据到达后对数据进行处理。 为了表达复杂的逻辑，flink在内的分布式流处理引擎，一般采用 DAG 图来表示整个计算逻辑，其中 DAG 阅读全文
posted @ 2019-12-26 15:26 Coding_Now 阅读(6316) 评论(0) 推荐(2)
理解flink connector
摘要：一：连接外部存储系统的方式 flink是新一代的流式计算引擎，它需要从不同的第三方存储引擎读取数据，进行一定的处理，写出到不同的存储引擎，Connector就相当于是一个连接器，连接flink系统和外界存储系统。 常用的连接方式有以下几种： flink内部预定义的source和sink flink内 阅读全文
posted @ 2019-12-25 15:43 Coding_Now 阅读(1402) 评论(0) 推荐(0)
flink的watermark和window介绍以及延迟数据的处理
摘要：一：WaterMark 本质：时间戳 作用：用于处理乱序事件 适用场景：基于事件时间做窗口运算 产生频率：默认是来一条数据下发一次watermark，但是可以调整setAutoWatermarkInterval参数设置下发watermark的时间间隔，性能会有一定的提升。 多并发的情况下，取wate 阅读全文
posted @ 2019-12-24 17:46 Coding_Now 阅读(2807) 评论(0) 推荐(1)
flink的安装和简单测试
摘要：一：下载安装（前提jdk安装成功） 版本选择：1.7.2，不集成其它组件。 下载网址：https://flink.apache.org/downloads.html 格式：flink-1.7.2-bin-scala_2.11.tgz 解压缩：tar -zxvf flink-1.7.2-bin-sca 阅读全文
posted @ 2019-06-09 18:53 Coding_Now 阅读(3642) 评论(0) 推荐(0)