代码改变世界

02 2020 档案

Java开发最佳实践(二) ——《Java开发手册》之"异常处理、MySQL 数据库"
摘要：二、异常日志 (一) 异常处理 Java类库中定义的可以通过预检查方式规避的RuntimeException异常不应该通过catch的方式来处理，比如：NullPointerException，IndexOutOfBoundsException等等【说明：无法通过预检查的异常除外，比如，在解析字符串 阅读全文
posted @ 2020-02-23 18:33 行无际 阅读(2010) 评论(0) 推荐(0)
Java开发最佳实践(一) ——《Java开发手册》之"编程规约"
摘要：Java开发手册版本更新说明 版本号 版本名 更新日期 备注 1.3.0 终极版 2017.09.25 单元测试规约，IDE代码规约插件 1.3.1 纪念版 2017.11.30 修正部分描述 1.4.0 详尽版 2018.05.20 增加设计规约大类，共16条 1.5.0 华山版 2019.06. 阅读全文
posted @ 2020-02-22 23:45 行无际 阅读(1246) 评论(0) 推荐(0)
MongoDB -> kafka 高性能实时同步(sync 采集)mongodb数据到kafka解决方案
摘要：写这篇博客的目的 让更多的人了解 阿里开源的MongoShake可以很好满足mongodb到kafka高性能高可用实时同步需求（项目地址：https://github.com/alibaba/MongoShake，下载地址：https://github.com/alibaba/MongoShake/ 阅读全文
posted @ 2020-02-19 01:25 行无际 阅读(10451) 评论(14) 推荐(5)
如何用Flink把数据sink到kafka多个不同(成百上千)topic中
摘要：需求与场景 上游某业务数据量特别大，进入到kafka一个topic中(当然了这个topic的partition数必然多，有人肯定疑问为什么非要把如此庞大的数据写入到1个topic里，历史留下的问题，现状就是如此庞大的数据集中在一个topic里)。这就需要根据一些业务规则把这个大数据量的topic数据 阅读全文
posted @ 2020-02-15 19:13 行无际 阅读(4624) 评论(1) 推荐(0)
使用ClouderaManager管理的HBase的RegionServer无法启动(启动失败)的问题
摘要：问题概述 "新冠期间"远程办公，需要重新搭建一套ClouderaManager(CM)开发环境，一位测试同事发现HBase的RegionServer无法启动，在CM界面上启动总是失败，观察一下日志，也没有什么明显的报错。我就专门看了一下。 排查思路 1. 因为有opentsdb在读写Hbase Re 阅读全文
posted @ 2020-02-15 13:29 行无际 阅读(1420) 评论(0) 推荐(0)
使用脚本+kafka自带命令行工具 统计数据写入kafka速率
摘要：思路 每隔一段时间(比如说10秒)统计一次某 的所有 的最大 值之和，这便是该 的message总数。 然后除以间隔时间就可以粗略但方便得出 某 的数据增长速率(即相应程序写kafka的速率) " " 中有统计最大offset命令 shell实现 注意： 1. 第一次打印出来的speed请忽略(为了 阅读全文
posted @ 2020-02-14 18:08 行无际 阅读(2063) 评论(0) 推荐(0)
Kafka常用topic操作命令汇总
摘要：topic 工具 https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools offset相关 # 最大offset bin/kafka-run-class.sh kafka.tools.GetOffsetShell --b 阅读全文
posted @ 2020-02-09 17:43 行无际 阅读(18766) 评论(0) 推荐(1)