随笔分类 -  Kafka

Zookeeper与Kafka集群搭建
摘要：一 ：环境准备： 物理机window7 64位 vmware 3个虚拟机 centos6.8 IP为：192.168.17.［129 －131］ JDK1.7安装配置 各虚拟机之间配置免密登录 安装clustershell用于集群各节点统一操作配置 1 ：在此说明一下免密和clustershell的 阅读全文
posted @ 2017-03-10 17:10 刘彬 阅读(1761) 评论(0) 推荐(0)
Kafka概述与设计原理
摘要：kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性： 1. 通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。 2 .高吞吐量：即使是非常普通的硬件kafka也可以支持每秒数十万的消息。 3 .支持通过kafka服务器和消费机集群来分 阅读全文
posted @ 2017-02-28 23:20 刘彬 阅读(1017) 评论(0) 推荐(4)
Kafka问题排查（消费者自动关闭）
摘要：问题描述： 在消费端能够正常消费到Kafka数据并成功生产到producer topic 中，当将kafka的一台机器关机之后，正常情况下应该是 消费端是不受影响的。因为有还有两台的负载机器。问题就是一台机器停止运行之后，消费端酒 shutdown 而无法重新starting 解决方式 ： 在如下代 阅读全文
posted @ 2016-07-04 19:09 刘彬 阅读(4513) 评论(0) 推荐(0)