摘要: Flink1.10定义UDAGG遇到SQL validation failed. null 问题,定义的UDAGG会一直出现org.apache.flink.table.api.ValidationException: SQL validation failed. null 问题 阅读全文
posted @ 2022-08-24 13:14 博而不客 阅读(731) 评论(0) 推荐(0) 编辑
摘要: 在自定义source&sink这一块官方给的说明并不是很多,需要去看源代码熟悉,自己实现一个redis sink主要需要实现StreamTableSinkFactory,RichSinkFunction和AppendStreamTableSink/RetractStreamTableSink/Ups 阅读全文
posted @ 2022-08-10 15:27 博而不客 阅读(664) 评论(0) 推荐(0) 编辑
摘要: flink-connector-redis的使用方式和其他连接器几乎一样,除了一些公共的参数外(connector.type, format.type, or update-mode等),还支持以下参数 为了满足业务和数据的多样性,根据connector.data.type来确定写入的数据结构 1. 阅读全文
posted @ 2022-08-10 15:26 博而不客 阅读(677) 评论(0) 推荐(0) 编辑
摘要: flink sql任务出现一直循环重启,报错 java.lang.OutOfMemoryError: Metaspace ,通过调整taskmanager.memory.jvm-metaspace.size来增加Metaspace的大小 阅读全文
posted @ 2022-07-05 17:38 博而不客 阅读(1354) 评论(0) 推荐(0) 编辑
摘要: 1.安装git yum -y install git 2.安装maven 安装了3.3以下低版本的maven会有提示升级,这里安装3.6.3 wget https://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.3/binaries/a 阅读全文
posted @ 2022-07-05 17:37 博而不客 阅读(316) 评论(0) 推荐(0) 编辑
摘要: 怎么监控Flink,如何监控Flink是FLink集群的第一要务,使用Promethues和Grafana监控Flink,通过修改flink配置文件,收集flink metrics信息写入influxdb,通过grafana展示出来,设置告警阈值 阅读全文
posted @ 2021-02-02 18:02 博而不客 阅读(595) 评论(0) 推荐(0) 编辑
摘要: Flink rocksdb参数调整优化参考文档说明,rocksdb性能优化经验 阅读全文
posted @ 2021-01-18 12:56 博而不客 阅读(1866) 评论(0) 推荐(0) 编辑
摘要: Flink常见问题解决记录 阅读全文
posted @ 2020-12-11 10:55 博而不客 阅读(8461) 评论(0) 推荐(0) 编辑
摘要: Flink1.11 解决 No ExecutorFactory found to execute the application 问题,运行测试方法报错Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. 阅读全文
posted @ 2020-12-08 10:47 博而不客 阅读(3856) 评论(0) 推荐(1) 编辑
摘要: Flink任务自定义个性化配置logback.xml文件,每个任务都能够带上单独的信息比如开发者、任务名称等信息 阅读全文
posted @ 2020-11-16 18:38 博而不客 阅读(1814) 评论(0) 推荐(0) 编辑