摘要：
一、关于ZooKeeper的watch用法，需要注意 详细说明如下： ZooKeeper Watches All of the read operations in ZooKeeper - getData(), getChildren(), and exists() - have the optio 阅读全文
摘要：
kafka shutdown停止很慢问题 在数据量大的时候，consumer一次抓取数据的数据很多，进入到业务处理的数据可能有很多， 假设一次poll有1万条数据进入业务程序，而且业务程序是和poll绑定在一起线程同步执行的，假设平均每条数据，执行业务程序花费100ms， 那么poll一次的数据，至 阅读全文
摘要：
一、关于Kafka的一些概念和理解 Kafka是一个分布式的数据流平台，它基于独特日志文件形式，提供了高性能消息系统功能。也可以用于大数据流管道。 Kafka维护了按目录划分的消息订阅源，称之为 Topic。 称发布消息到Topic的工程为生产者。 称订阅Topic和处理发布的消息的订阅源的工程为消 阅读全文
摘要：
Zookeeper典型应用 参考官方文档： http://zookeeper.apache.org/doc/current/recipes.html Out of the Box Applications: Name Service, Configuration, Group Membership 阅读全文
摘要：
Kafka重复消费原因 底层根本原因：已经消费了数据，但是offset没提交。 原因1：强行kill线程，导致消费后的数据，offset没有提交。 原因2：设置offset为自动提交，关闭kafka时，如果在close之前，调用 consumer.unsubscribe() 则有可能部分offset 阅读全文