Kafka多节点安装配置

1、kafka基本环境

解压tar包

[root@master /]# tar -zxvf /opt/software/kafka_2.11-2.0.0.tgz -C /opt/module/

编写环境变量

[root@master /]# vi /etc/profile                                              
#添加以下内容
export KAFKA_HOME=/opt/module/kafka_2.11-2.0.0
export PATH=$PATH:$KAFKA_HOME/bin

#生效环境变量
[root@master /]# source /etc/profile

2、kafka文件配置

server.properties文件

[root@master /]# vi /opt/module/kafka_2.11-2.0.0/config/server.properties 
##修改以下内容
#每个节点不可重复的id
broker.id=0
#日志路径
log.dirs=/opt/module/kafka_2.11-2.0.0/logs
#zookeeper连接
zookeeper.connect=master:2181,slave1:2181,slave2:2181

producer.properties文件

[root@master /]# vi /opt/module/kafka_2.11-2.0.0/config/producer.properties 
#配置broker，每个节点都需要有
bootstrap.servers=master:9092,slave1:9092,slave2:9092

分发文件夹

[root@master /]# scp -r /opt/module/kafka_2.11-2.0.0 slave1:/opt/module
[root@master /]# scp -r /opt/module/kafka_2.11-2.0.0 slave2:/opt/module

在各节点修改server.properties文件的broker.id参数

#slave1节点
[root@slave1 /]# vi /opt/module/kafka_2.11-2.0.0/config/server.properties
broker.id=1

#slave2节点
[root@slave2 /]# vi /opt/module/kafka_2.11-2.0.0/config/server.properties
broker.id=2

各节点配置环境变量并生效

[root@slave /]# vi /etc/profile                                              
#添加以下内容
export KAFKA_HOME=/opt/module/kafka_2.11-2.0.0
export PATH=$PATH:$KAFKA_HOME/bin

#生效环境变量
[root@slave /]# source /etc/profile

3、启动kafka并创建topic进行测试

启动zookeeper

#启动zookeeper服务
[root@master /]# zkServer.sh start
[root@slave1 /]# zkServer.sh start
[root@slave2 /]# zkServer.sh start

#查看服务状态
[root@master /]# zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: follower

[root@slave1 /]# zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: leader

[root@slave2 /]# zkServer.sh status
JMX enabled by default
Using config: /opt/module/zookeeper-3.4.5/bin/../conf/zoo.cfg
Mode: follower

启动kafka

#master节点
[root@master /]# cd /opt/module/kafka_2.11-2.0.0/
[root@master kafka_2.11-2.0.0]# bin/kafka-server-start.sh -daemon config/server.properties 
[root@master kafka_2.11-2.0.0]# jps               
2465 Kafka
433 QuorumPeerMain
3843 Jps

#slave1节点
[root@slave1 /]# cd /opt/module/kafka_2.11-2.0.0/
[root@slave1 kafka_2.11-2.0.0]# bin/kafka-server-start.sh -daemon config/server.properties 
[root@slave1 kafka_2.11-2.0.0]# jps               
2465 Kafka
433 QuorumPeerMain
3843 Jps

#slave2节点
[root@slave1 /]# cd /opt/module/kafka_2.11-2.0.0/
[root@slave1 kafka_2.11-2.0.0]# bin/kafka-server-start.sh -daemon config/server.properties 

#启动指令2 
`./bin/kafka-server-start.sh config/server.properties &`

[root@slave1 kafka_2.11-2.0.0]# jps               
2465 Kafka
433 QuorumPeerMain
3843 Jps

测试kafka

#创建副本数、分区数都为2的topic
[root@master kafka_2.11-2.0.0]# kafka-topics.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --create --replication-factor 2 --partitions 2 --topic installtopic

#查看topic列表
[root@master kafka_2.11-2.0.0]# bin/kafka-topics.sh -bootstrap-server master:9092,slave1:9092,slave2:9092 --list

#使用kafka自带消费者消费topic
[root@master kafka_2.11-2.0.0]# kafka-console-consumer.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic installtopic --from-beginning

#删除topic
[root@master kafka_2.11-2.0.0]# kafka-topics.sh --bootstrap-server master:9092,slave1:9092,slave2:9092 --delete --topic installtopic