随笔分类 -  FLINK

FLINK SQL JOIN类型
摘要：一、REGULAR JOIN INNER JOIN：在流处理任务中只用两条流JOIN到才输出，+[L, R] LEFT JOIN：在流处理任务中，左流数据到达之后，不管有没有JOIN到右流数据都会输出（JOIN到：+[L, R]，没有JOIN：+[L, NULL]），如果右流数据到达之后，发现左流有 阅读全文
posted @ 2022-03-01 15:19 Shydow 阅读(2230) 评论(0) 推荐(0)
Flink SQL尝试
摘要：一、SOURCE Mock Data package com.shydow.utils; import com.alibaba.fastjson.JSON; import com.alibaba.fastjson.JSONObject; import lombok.Data; import org. 阅读全文
posted @ 2022-01-11 15:45 Shydow 阅读(258) 评论(0) 推荐(0)
Flink + Streamx实践
摘要：一、Streamx的编译和安装 1）编译 阅读全文
posted @ 2021-12-16 16:58 Shydow 阅读(201) 评论(0) 推荐(0)
Flink1.3.1+Hudi0.10初探
摘要：由于业务需要调研数据湖的使用，这里以Hudi0.10为例，使用的是CDH6.2.1的集群。 一、编译Hudi0.10 在centos7上编译，需要配置maven，安装scala环境和docker环境，使用集群环境为CDH6.2.1 maven配置 tar -zxvf apache-maven-3.6 阅读全文
posted @ 2021-12-14 17:47 Shydow 阅读(977) 评论(0) 推荐(0)
Flink CDC采集MySQL binlog日志实时写入ClickHouse
摘要：一、DataStream API 这里以通过Flink CDC采集MySQL的binlog日志实时写入ClickHouse中： package com.shydow; import com.alibaba.fastjson.JSONObject; import com.bangdao.bigdata 阅读全文
posted @ 2021-12-06 14:50 Shydow 阅读(1944) 评论(0) 推荐(0)
Flink TableApi读取Hbase
摘要：由于在实时同步数据过程中，需要对数据进行一次初始化维表关联的操作，需要读取HBase里面的历史数据与维表进行关联，刚开始使用spark做离线处理，现在使用Flink做离线的ETL。 环境： Flink：1.12.2 HBase：2.1.0-cdh6.2.1 pom依赖 <!-- Licensed t 阅读全文
posted @ 2021-11-22 17:28 Shydow 阅读(383) 评论(0) 推荐(0)