随笔分类 -  Kafka

一种高吞吐量的分布式发布订阅消息系统。
摘要:一、入门 1.简介 Apache Kafka是一个分布式消息发布订阅系统。它最初由LinkedIn公司基于独特的设计实现为一个分布式的提交日志系统( a distributed commit log),之后成为Apache项目的一部分。Kafka系统快速、可扩展并且可持久化。分区,可复制和可容错都是其不错的特性。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。 ... 阅读全文
posted @ 2017-06-06 14:38 静候东风 阅读(1413) 评论(0) 推荐(0)
摘要:1.使用Producer API发送消息到Kafka 从版本0.9开始被KafkaProducer替代。 HelloWorldProducer.java SimplePartitioner.java 2.使用Kafka High Level Consumer API接收消息 ConsumerGrou 阅读全文
posted @ 2017-06-04 00:36 静候东风 阅读(22457) 评论(0) 推荐(0)
摘要:使用0.9开始增加的KafkaProducer和KafkaConsumer。 Pom.xml HelloWorldProducer2.java SimplePartitioner2.java HelloWorldConsumer2.java 阅读全文
posted @ 2017-06-04 00:30 静候东风 阅读(7981) 评论(0) 推荐(0)
摘要:往kafka集群发送消息时,报错如下: page_visits-1: 30005 ms has passed since batch creation plus linger time 加入log4j.properties,设置为DEBUG级别,错误如下: 2017-06-03 17:33:31,4 阅读全文
posted @ 2017-06-03 18:05 静候东风 阅读(3414) 评论(0) 推荐(0)
摘要:功能 为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫做 Kafka Manager。这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀,或者是分区在整个集群分布不均匀的的情况。它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时,这个管理工具也是一个非常好的可以快速浏览这个集群的工具,有如下功能: 管... 阅读全文
posted @ 2017-06-02 22:03 静候东风 阅读(578) 评论(0) 推荐(0)
摘要:一、准备工作 centos6.8和jvm需要准备64位的,如果为32位,服务启动的时候报java.lang.OutOfMemoryError: Map failed 的错误。 链接:http://pan.baidu.com/s/1pLbj8T1 密码:f4h0 centos6.8 64位 jdk-8 阅读全文
posted @ 2017-06-02 17:54 静候东风 阅读(493) 评论(0) 推荐(0)
摘要:kafka集群中一台服务器kill掉后再启动时报错。 java.io.IOException: Map failed Caused by: java.lang.OutOfMemoryError: Map failed 通过https://stackoverflow.com/questions/430 阅读全文
posted @ 2017-06-02 09:18 静候东风 阅读(20904) 评论(1) 推荐(0)