随笔分类 -  Kafka分布式消息系统

Kafka常用命令
摘要：Kafka常用命令启动Kafka服务kafka-server-start.sh./bin/kafka-server-start.sh config/server.properties Topic操作Kafka-topics.sh创建Topic./bin/kafka-topics.sh --creat 阅读全文
posted @ 2018-01-09 18:05 fansik 阅读(399) 评论(0) 推荐(0)
Kafka高可用的保证
摘要：zookeeper作为去中心化的集群模式，消费者需要知道现在那些生产者(对于消费者而言，kafka就是生产者)是可用的。 如果没有zookeeper每次消费者在消费之前都去尝试连接生产者测试下是否连接成功，这样无法保证效率Replication & Leader election Kafka中主题的 阅读全文
posted @ 2017-07-14 17:05 fansik 阅读(540) 评论(0) 推荐(0)
Kafka的架构
摘要：1、Kafka整体架构 一个典型的Kafka集群中包含若干producer(可以是web前端产生的page view，或者是服务器日志，系统CPU、memory等)，若干broker(Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高)，若干consumer group，以及一个zoo 阅读全文
posted @ 2017-07-14 17:03 fansik 阅读(300) 评论(0) 推荐(0)
Kafka配置参数说明
摘要：配置文件目录：/usr/local/kafka/config配置文件server.propertis参数说明：broker.id=0每一个broker在集群中的唯一标识，要求是正数，当该服务器的IP地址发生变化时，broker.id没有变化，则不会影响consumers的消息情况log.dirs=/ 阅读全文
posted @ 2017-07-14 17:01 fansik 阅读(310) 评论(0) 推荐(0)
Kafka简介、安装
摘要：一、Kafka简介 Kafka是一个分布式、可分区的、可复制的消息系统。几个基本的消息系统术语：1、消费者(Consumer)：从消息队列(Kafka)中请求消息的客户端应用程序。2、生产者(Producer)：向broker发布消息的应用程序。3、broker：Kafka以集群的方式运行，可以由一 阅读全文
posted @ 2017-07-14 16:58 fansik 阅读(147) 评论(0) 推荐(0)
消息队列简介
摘要：一、为什么要用消息队列1、解耦2、冗余3、扩展性4、灵活性&峰值处理能力5、可恢复性6、送达保证7、顺序保证8、缓冲9、异步通信二、常用的消息队列RabbitMQ：优点：支持协议多，例如AMQP,XMPP,SMTP,STOMP。对路由，负载均衡或者数据持久化有很好的支持。Redis：优点：轻量级，读 阅读全文
posted @ 2017-07-14 16:55 fansik 阅读(148) 评论(0) 推荐(0)