随笔分类 -  Flink

1 2 下一页
Flink1.10定义UDAGG遇到SQL validation failed. null 问题
摘要：Flink1.10定义UDAGG遇到SQL validation failed. null 问题，定义的UDAGG会一直出现org.apache.flink.table.api.ValidationException: SQL validation failed. null 问题 阅读全文
posted @ 2022-08-24 13:14 博而不客 阅读(1008) 评论(0) 推荐(0)
Flink Table API & SQL 自定义Redis Sink 代码实现
摘要：在自定义source&sink这一块官方给的说明并不是很多，需要去看源代码熟悉，自己实现一个redis sink主要需要实现StreamTableSinkFactory，RichSinkFunction和AppendStreamTableSink/RetractStreamTableSink/Ups 阅读全文
posted @ 2022-08-10 15:27 博而不客 阅读(891) 评论(0) 推荐(0)
Flink Table API & SQL 自定义Redis Sink 使用方式
摘要：flink-connector-redis的使用方式和其他连接器几乎一样，除了一些公共的参数外(connector.type, format.type, or update-mode等)，还支持以下参数 为了满足业务和数据的多样性，根据connector.data.type来确定写入的数据结构 1. 阅读全文
posted @ 2022-08-10 15:26 博而不客 阅读(1103) 评论(0) 推荐(0)
flink sql任务出现java.lang.OutOfMemoryError: Metaspace
摘要：flink sql任务出现一直循环重启，报错 java.lang.OutOfMemoryError: Metaspace ，通过调整taskmanager.memory.jvm-metaspace.size来增加Metaspace的大小 阅读全文
posted @ 2022-07-05 17:38 博而不客 阅读(1650) 评论(0) 推荐(0)
使用Promethues和Grafana监控Flink
摘要：怎么监控Flink，如何监控Flink是FLink集群的第一要务，使用Promethues和Grafana监控Flink,通过修改flink配置文件，收集flink metrics信息写入influxdb,通过grafana展示出来，设置告警阈值 阅读全文
posted @ 2021-02-02 18:02 博而不客 阅读(700) 评论(0) 推荐(0)
Flink常见问题解决记录
摘要：Flink常见问题解决记录 阅读全文
posted @ 2020-12-11 10:55 博而不客 阅读(9308) 评论(0) 推荐(0)
Flink1.11 解决 No ExecutorFactory found to execute the application
摘要：Flink1.11 解决 No ExecutorFactory found to execute the application 问题，运行测试方法报错Exception in thread "main" java.lang.IllegalStateException: No ExecutorFactory found to execute the application. 阅读全文
posted @ 2020-12-08 10:47 博而不客 阅读(4453) 评论(0) 推荐(1)
Flink任务自定义个性化配置logback.xml文件
摘要：Flink任务自定义个性化配置logback.xml文件，每个任务都能够带上单独的信息比如开发者、任务名称等信息 阅读全文
posted @ 2020-11-16 18:38 博而不客 阅读(1975) 评论(0) 推荐(0)
Flink监控信息写入到PushGateway出现 java.io.IOException: Response code from http xx was 200问题
摘要：Flink监控信息写入到PushGateway出现 java.io.IOException: Response code from http xx was 200问题 阅读全文
posted @ 2020-05-22 16:35 博而不客 阅读(2884) 评论(0) 推荐(0)
Flink Heartbeat of TaskManager和Heartbeat of ResourceManager timed out问题
摘要：Flink Heartbeat of TaskManager和Heartbeat of ResourceManager timed out心跳时间超时问题排查解决 阅读全文
posted @ 2020-04-22 11:30 博而不客 阅读(11307) 评论(0) 推荐(0)
在自定义Flink1.10 Sql Sink遇到的问题
摘要：记录在自定义Flink1.10 Sql source Sink遇到的问题并将解决写在这里，方便以后查阅 阅读全文
posted @ 2020-03-20 15:22 博而不客 阅读(4821) 评论(0) 推荐(0)
实时平台-Flink篇
摘要：实时任务统一管理平台，监控、运维一体化的实时任务管理平台，flink任务统一提交平台 阅读全文
posted @ 2020-01-20 18:14 博而不客 阅读(2335) 评论(0) 推荐(0)
Flink akka AskTimeoutException问题排查
摘要：Flink akka AskTimeoutException问题排查，akka.pattern.AskTimeoutException: Ask timed out 问题解决 阅读全文
posted @ 2019-12-27 17:00 博而不客 阅读(13335) 评论(0) 推荐(2)
Flink生产数据到Kafka频繁出现事务失效导致任务重启
摘要：在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE，kafka使用的版本为1.1.0，flink的版本为1.8.0，但是会很经常因为提交事务引起错误，甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。 查看kafka documentation和研究ProducerConfig这个类后发现 kafka producer 在使用EXACTLY_ONCE的时候需要增加一些配置 阅读全文
posted @ 2019-12-16 11:48 博而不客 阅读(11186) 评论(0) 推荐(0)
在flink中使用jackson JSONKeyValueDeserializationSchema反序列化Kafka消息报错解决
摘要：在flink中消费多Topic并使用JSONKeyValueDeserializationSchema反序列化Kafka消息获取元数据信息，出现报错JSONKeyValueDeserializationSchema - Unrecognized token '': was expecting ('true', 'false' or 'null')问题解决 阅读全文
posted @ 2019-12-09 10:43 博而不客 阅读(7911) 评论(0) 推荐(0)
scala调用fastjson JSON.toJSONString()序列化对象出错
摘要：scala调用fastjson JSON.toJSONString()序列化对象出错，both method toJSONString in object JSON of type，scala使用fastjson序列化对象为空的问题 阅读全文
posted @ 2019-12-02 16:20 博而不客 阅读(3670) 评论(0) 推荐(0)
Flink配置详解及实践
摘要：flink配置优化最佳实践，优化flink配置文件，配置文件详解 阅读全文
posted @ 2019-10-25 15:56 博而不客 阅读(6000) 评论(0) 推荐(0)
使用InflubDB和Grafana监控Flink
摘要：怎么监控Flink，如何监控Flink是FLink集群的第一要务，使用InflubDB和Grafana监控Flink,通过修改flink配置文件，收集flink metrics信息写入influxdb,通过grafana展示出来，设置告警阈值 阅读全文
posted @ 2019-10-12 17:45 博而不客 阅读(2129) 评论(2) 推荐(0)
Flink日志接入ELK
摘要：将flink日志收集到kafka最终写入es，elk实现日志聚合查看预警，能够实现查看输出的日志,flink+kafka+es+kibana+grafana 阅读全文
posted @ 2019-10-08 16:45 博而不客 阅读(4187) 评论(0) 推荐(0)
Flink使用logback记录日志并告警
摘要：flink日志记录，对于错误日志通过logback邮件告警，flink结合logback邮件告警配置 阅读全文
posted @ 2019-09-30 17:11 博而不客 阅读(5624) 评论(0) 推荐(0)

1 2 下一页