摘要：
问题 kafka挂掉后，启动报错日志如下 [2020-03-19 17:50:58,123] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerSta 阅读全文
posted @ 2020-03-19 22:11
行无际
阅读(3538)
评论(0)
推荐(0)
摘要：
二、异常日志 (一) 异常处理 Java类库中定义的可以通过预检查方式规避的RuntimeException异常不应该通过catch的方式来处理，比如：NullPointerException，IndexOutOfBoundsException等等【说明：无法通过预检查的异常除外，比如，在解析字符串 阅读全文
posted @ 2020-02-23 18:33
行无际
阅读(2016)
评论(0)
推荐(0)
摘要：
Java开发手册版本更新说明 版本号 版本名 更新日期 备注 1.3.0 终极版 2017.09.25 单元测试规约，IDE代码规约插件 1.3.1 纪念版 2017.11.30 修正部分描述 1.4.0 详尽版 2018.05.20 增加设计规约大类，共16条 1.5.0 华山版 2019.06. 阅读全文
posted @ 2020-02-22 23:45
行无际
阅读(1247)
评论(0)
推荐(0)
摘要：
写这篇博客的目的 让更多的人了解 阿里开源的MongoShake可以很好满足mongodb到kafka高性能高可用实时同步需求（项目地址：https://github.com/alibaba/MongoShake，下载地址：https://github.com/alibaba/MongoShake/ 阅读全文
posted @ 2020-02-19 01:25
行无际
阅读(10453)
评论(14)
推荐(5)
摘要：
需求与场景 上游某业务数据量特别大，进入到kafka一个topic中(当然了这个topic的partition数必然多，有人肯定疑问为什么非要把如此庞大的数据写入到1个topic里，历史留下的问题，现状就是如此庞大的数据集中在一个topic里)。这就需要根据一些业务规则把这个大数据量的topic数据 阅读全文
posted @ 2020-02-15 19:13
行无际
阅读(4626)
评论(1)
推荐(0)
摘要：
问题概述 "新冠期间"远程办公，需要重新搭建一套ClouderaManager(CM)开发环境，一位测试同事发现HBase的RegionServer无法启动，在CM界面上启动总是失败，观察一下日志，也没有什么明显的报错。我就专门看了一下。 排查思路 1. 因为有opentsdb在读写Hbase Re 阅读全文
posted @ 2020-02-15 13:29
行无际
阅读(1425)
评论(0)
推荐(0)
摘要：
思路 每隔一段时间(比如说10秒)统计一次某 的所有 的最大 值之和，这便是该 的message总数。 然后除以间隔时间就可以粗略但方便得出 某 的数据增长速率(即相应程序写kafka的速率) " " 中有统计最大offset命令 shell实现 注意： 1. 第一次打印出来的speed请忽略(为了 阅读全文
posted @ 2020-02-14 18:08
行无际
阅读(2067)
评论(0)
推荐(0)
摘要：
topic 工具 https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools offset相关 # 最大offset bin/kafka-run-class.sh kafka.tools.GetOffsetShell --b 阅读全文
posted @ 2020-02-09 17:43
行无际
阅读(18772)
评论(0)
推荐(1)
浙公网安备 33010602011771号