随笔分类 -  flink

关于做了savepoint之后改变DAG当中的算子的处理方式和遇到的错误
摘要:场景描述,前两天给flink 程序做了savepoint 记录但是我在代码中改了flink程序的一个算子 这就导致了 我重新提交之前那个savepoint 的时候报错。报错信息如下 Caused by: java.lang.IllegalStateException: Failed to rollb 阅读全文

posted @ 2020-04-10 15:40 gxg123 阅读(2314) 评论(1) 推荐(0)

关于30大洋看的一篇帖子(为什么我的Flink任务正常运行,UI上却不显示接收和发送的数据条数呢?)
摘要:最近发现有好几个同学问我这个问题,为什么我的Flink任务正常运行,数据也可以打印,而且都保存到数据库了,但是UI上面却不显示数据接收和发送的条数,我都快被问疯了,今天就给大家详细说一下这个小问题. 首先先来复现一下这个问题,我们先看下面的代码(只是一部分代码) def main(args: Arr 阅读全文

posted @ 2020-04-08 18:29 gxg123 阅读(2224) 评论(0) 推荐(0)

关于flink 程序提交到yarn上面运行的相关操作和创建checkpoint和savepoint的相关操作
摘要:最近公司在做实时的东西,我们是采用的是消费kafka的数据 然后将kafka的数据接入到MySQL 数据库然后做一些简单的统计计算,伪实时的展示数据(10分钟进行一次) (情景描述 我们公司用的是aws的服务器。所以flink 集群当中的服务有很多台) 问题(1)通过命令行去查看flink作业的id 阅读全文

posted @ 2020-04-08 18:21 gxg123 阅读(2071) 评论(0) 推荐(0)

导航