12 2019 档案
摘要:Flink akka AskTimeoutException问题排查,akka.pattern.AskTimeoutException: Ask timed out 问题解决
阅读全文
摘要:通过log4j2将storm日志统一汇总写入到kafka,方便后续问题排查和实时的错误预警,可以通过es+kibana聚合分析,实现邮件或者电话告警
阅读全文
摘要:在生产中需要将一些数据发到kafka,而且需要做到EXACTLY_ONCE,kafka使用的版本为1.1.0,flink的版本为1.8.0,但是会很经常因为提交事务引起错误,甚至导致任务重启。 这些错误基本涉及到两阶段提交、事务、checkpoint。
查看kafka documentation和研究ProducerConfig这个类后发现 kafka producer 在使用EXACTLY_ONCE的时候需要增加一些配置
阅读全文
摘要:在flink中消费多Topic并使用JSONKeyValueDeserializationSchema反序列化Kafka消息获取元数据信息,出现报错JSONKeyValueDeserializationSchema - Unrecognized token '': was expecting ('true', 'false' or 'null')问题解决
阅读全文
摘要:scala调用fastjson JSON.toJSONString()序列化对象出错,both method toJSONString in object JSON of type,scala使用fastjson序列化对象为空的问题
阅读全文