Flink - 随笔分类 - cknds

摘要：Flink使用connect实现双流join全外连接阅读全文

posted @ 2022-01-02 02:03 cknds 阅读(206) 评论(0) 推荐(0)

重新编译flink-clickhouse-connector后在使用FlinkSQL时报Could not find any factory for identifier 'clickhouse' that implements 'org.apache.flink.table.factories.DynamicTableFactory' in the classpath

摘要：https://www.cnblogs.com/yangxusun9/p/14473640.html 参考了以上之后，本想在代码中打点日志，发现在代码中添加了Log.debug（“xxx”）的代码后还是报这个错误，修改为LOG.warn("xxx")就不报了，可以正常运行了，日志级别也会影响这个SP 阅读全文

posted @ 2021-11-17 14:34 cknds 阅读(1774) 评论(0) 推荐(0)

在yarn上查找完整日志

摘要：首先在yarn的web页找到 application的id , 如： application_1632375440067_2807 进入shell客户端使用命令查看完整日志： yarn logs -applicationId application_1632375440067_2807 阅读全文

posted @ 2021-11-03 18:04 cknds 阅读(724) 评论(0) 推荐(0)

RestAPI获取yarn上的作业信息

摘要：#查看指定队列的所有任务： GET http://<rm http address:port>/ws/v1/cluster/apps?queue=dev #查看指定任务的详细信息： GET http://<rm http address:port>/ws/v1/cluster/apps/applic 阅读全文

posted @ 2021-10-08 11:52 cknds 阅读(516) 评论(0) 推荐(0)

FlinkSQL/TableAPI 添加配置

摘要：在使用FlinkSQL是向sink表中某个非空字段中插入了null值，收到异常信息 org.apache.flink.table.api.TableException: Column 'sub_id' is NOT NULL, however, a null value is being writt 阅读全文

posted @ 2021-06-18 13:57 cknds 阅读(2739) 评论(0) 推荐(0)

canal安装 linux单机

摘要：https://blog.csdn.net/brian8271/article/details/112170406 阅读全文

posted @ 2021-05-29 23:56 cknds 阅读(131) 评论(0) 推荐(0)

Flink使用POJO实现分组和汇总

摘要：如果使用pojo进行分组汇总，java类必须满足pojo的必须条件才行。比如 class必须是public等。 import org.apache.flink.api.common.functions.MapFunction; import org.apache.flink.api.common.t 阅读全文

posted @ 2021-05-22 23:27 cknds 阅读(1210) 评论(0) 推荐(0)

Flink作业使用windows的nc命令产生socket流

摘要：首先windows安装netcat 1 在命令行窗口使用 nc -lp 8888 2 开启Flink任务（socket源的datastream） 3 在命令行输入内容：作业停止后nc自动停止在使用中必须按照1，2，3的顺序，否则在命令行输入字符无效，或Flink作业启动失败。踩过的坑记录一下阅读全文

posted @ 2021-05-20 23:39 cknds 阅读(491) 评论(0) 推荐(0)

Flink配置文件

摘要：单机测试时的配置： state.backend: filesystem # 取消的时候保存检查点 execution.checkpointing.externalized-checkpoint-retention: RETAIN_ON_CANCELLATION # 60s 一次检查点 executi 阅读全文

posted @ 2021-05-10 16:21 cknds 阅读(691) 评论(0) 推荐(0)

FlinkSQL写入hive

摘要：配置1：vim flink-conf.yml 流式写入hive需要配置检查点 # state.backend: filesystem state.backend: filesystem # 取消的时候保存检查点 execution.checkpointing.externalized-checkpo 阅读全文

posted @ 2021-05-06 17:42 cknds 阅读(2595) 评论(0) 推荐(0)

Flink开发本地模式开启WebUI

摘要：在开发Flink程序在本地模式调试时，需要用webUI，首先需要导入依赖  <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</art 阅读全文

posted @ 2021-04-23 14:35 cknds 阅读(3770) 评论(0) 推荐(0)

MySQL-CDC和Canal

摘要：canal源码及安装下载 https://github.com/alibaba/canal/releases 基于canal的client-adapter数据同步必读指南 http://www.voycn.com/article/jiyucanaldeclient-adaptershujutongb 阅读全文

posted @ 2021-04-22 13:48 cknds 阅读(590) 评论(0) 推荐(0)

FlinkSQL-Upsert-kafka、MySQL-cdc、kafka-canal-json、kafka-changelog-json等连接器的使用

摘要：实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例 Flink1.11中的CDC Connectors操作实践阅读全文

posted @ 2021-04-20 14:47 cknds 阅读(1376) 评论(0) 推荐(0)

Flink快速构建项目quickstart - 自定义UDF函数

摘要：官方推荐两种构建方式，第一 mvn archetype:generate -DarchetypeGroupId=org.apache.flink -DarchetypeArtifactId=flink-quickstart-java -DarchetypeVersion=1.12.0 创建flink 阅读全文

posted @ 2021-04-16 18:32 cknds 阅读(1190) 评论(0) 推荐(0)

idea debug flink1.12 sqlClient 源码

摘要：idea debug flink1.12 sqlClient 源码阅读全文

posted @ 2021-04-14 17:17 cknds 阅读(115) 评论(0) 推荐(0)

Flink SQL如何保证分topic有序

摘要：Flink SQL如何保证分topic有序阅读全文

posted @ 2021-04-14 17:13 cknds 阅读(82) 评论(0) 推荐(0)

Flink 1.12.0 SQL Connector支持 Oracle

摘要：Flink 1.12.0 SQL Connector支持 Oracle 阅读全文

posted @ 2021-04-14 16:37 cknds 阅读(912) 评论(0) 推荐(0)

Flink实战之Flink SQL connector支持并行度配置

摘要：https://blog.csdn.net/weixin_41608066/article/details/108557869?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineL 阅读全文

posted @ 2021-04-14 16:35 cknds 阅读(931) 评论(0) 推荐(0)

flink-1.12 通过 -t 指定模式后无法指定yarn参数

摘要：问题描述我们使用flink 1.12提交任务到yarn时，遇到个比较奇怪的问题，我们的提交命令如下： flink-1.12.0/bin/flink run -ynm chenTest -t yarn-per-job -yqu da_team -c com.test.FlinkTest Flink- 阅读全文

posted @ 2021-03-27 23:54 cknds 阅读(1143) 评论(0) 推荐(0)

Flink开发pom.xml

摘要：<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文

posted @ 2021-03-09 11:48 cknds 阅读(473) 评论(0) 推荐(0)

cknds

随笔分类 - Flink

公告