kafka集群安装

首先，kafka是什么？

kafka是一个高吞吐的分部式消息系统。

有哪些特点：解耦、缓冲

场景：

安装：

安装kafka集群首先要先检查是否安装jdk和安装zookeeper

 下载或者上传kafka安装包，这里我以：kafka_2.10-0.8.2.2.tgz 为例。

解压kafka安装包 ： tar zxvf kafka_2.10-0.8.2.2.tgz  -C /opt/ht/

进入安装目录的配置目录中：cd  /opt/ht/config/

修改配置：vi server.properties 

 集群broker.id 我用三台集群，id分别是0 1 2

保存文件目录

//引入的zookeeper机器，启动kafka前需要启动zookeeper

配置完成可以分发给其他机器，做kafka集群。

启动kafka：nohup bin/kafka-server-start.sh   config/server.properties > kafka.log 2>&1 &

jps查看进程

 

创建主题：

kafka-topics.sh --zookeeper node02,node03,node04  --create --topic t0619 --partitions 3 --replication-factor 3

//创建主题t0619 给定3分partitions 和备份数量是3

查看主题

测试生产消息：

kafka-console-producer.sh --topic t0619 --broker-list node01:9092,node04:9092,node05:9092

//向主题t0619生产消息，这里我的kafka集群在node01、node02、node04

打开消费者：

kafka-console-consumer.sh --zookeeper node03 --topic t0619