随笔分类 -  Kafka

linux log rotate
摘要：今天老大提醒我产线kafka自身的log文件积累了好几个月了，我才发现原来kafka的log4j并删除old log。 第一反应是采用linux自带的logrotate功能，在/etc/logrotate.d下面建一个文件写入： /opt/kafka_2.11-0.9.0.0/logs/*.log* 阅读全文
posted @ 2017-12-31 21:51 软件心理学工程师 阅读(308) 评论(0) 推荐(0)
彻底删除kafka topic步骤
摘要：基于kafka-2.11-0.9.0.0 。 a.kill掉kafka进程，然后在server.properties里面加上delete.topic.enable=true。重启kafka。集群中的每台机器都这样操作，one by one。 b.在一个kafka broker上执行：/opt/kaf 阅读全文
posted @ 2017-11-01 23:24 软件心理学工程师 阅读(1066) 评论(0) 推荐(0)
kafka总结
摘要：近期在做kafka metrics. 参考了几个开源的项目，诸如kafka manager, Burrow, kafkaOffsetMonitor，东西都很不错，可惜没有一个是用java编写的，最终自己去仿照kafka源码写了个java版的adminclient，拿到了自己需要的metrics数据。 阅读全文
posted @ 2016-12-23 22:14 软件心理学工程师 阅读(3051) 评论(0) 推荐(0)