12 2019 档案

摘要:Flink akka AskTimeoutException问题排查,akka.pattern.AskTimeoutException: Ask timed out 问题解决 阅读全文
posted @ 2019-12-27 17:00 博而不客 阅读(13069) 评论(0) 推荐(2)
摘要:通过log4j2将storm日志统一汇总写入到kafka,方便后续问题排查和实时的错误预警,可以通过es+kibana聚合分析,实现邮件或者电话告警 阅读全文
posted @ 2019-12-23 13:04 博而不客 阅读(1012) 评论(1) 推荐(0)
摘要:在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE,kafka使用的版本为1.1.0,flink的版本为1.8.0,但是会很经常因为提交事务引起错误,甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。 查看kafka documentation和研究ProducerConfig这个类后发现 kafka producer 在使用EXACTLY_ONCE的时候需要增加一些配置 阅读全文
posted @ 2019-12-16 11:48 博而不客 阅读(11023) 评论(0) 推荐(0)
摘要:在flink中消费多Topic并使用JSONKeyValueDeserializationSchema反序列化Kafka消息获取元数据信息,出现报错JSONKeyValueDeserializationSchema - Unrecognized token '': was expecting ('true', 'false' or 'null')问题解决 阅读全文
posted @ 2019-12-09 10:43 博而不客 阅读(7835) 评论(0) 推荐(0)
摘要:scala调用fastjson JSON.toJSONString()序列化对象出错,both method toJSONString in object JSON of type,scala使用fastjson序列化对象为空的问题 阅读全文
posted @ 2019-12-02 16:20 博而不客 阅读(3636) 评论(0) 推荐(0)

点击右上角即可分享
微信分享提示