kafka学习总结001 --- kafka集群搭建
前言
kafka是一种分布式的基于发布/订阅模式的消息队列，主要用于大数据实时处理领域；下面总结下kafka集群搭建方法
准备工作
1、三台linux环境，地址分别为192.168.1.51、192.168.1.52、192.168.1.53
2、jdk1.8.0_252，当然其他版本也行
3、apache-zookeeper-3.6.1，下载地址https://zookeeper.apache.org/releases.html
4、kafka_2.13-2.5.0，下载地址https://kafka.apache.org/downloads#2.5.0
JDK、Zookeeper、Kafka安装
在三台linux机器上usr目录下创建bale目录，将jdk-8u252-linux-x64.tar.gz、apache-zookeeper-3.6.1-bin.tar.gz、kafka_2.13-2.5.0.tgz放到/usr/bale目录下
1、JDK安装
（1）tar -xvf jdk-8u252-linux-x64.tar.gz解压到当前文件夹
（2）vi /etc/profile，配置环境变量，将如下内容写入/etc/profile，然后source /etc/profile使环境变量生效
export JAVA_HOME=/usr/bale/jdk1.8.0_252
export JRE_HOME=/usr/bale/jdk1.8.0_252/jre
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
2、Zookeeper安装
（1）tar -xvf apache-zookeeper-3.6.1-bin.tar.gz解压到当前文件夹，然后将文件夹的名字改为zookeeper
（2）vi /etc/profile，配置环境变量，将如下内容写入/etc/profile，然后source /etc/profile使环境变量生效
#set zookeeper environment
export ZK_HOME=/usr/bale/zookeeper
export PATH=$ZK_HOME/bin:$PATH
zk伪集群搭建：https://blog.csdn.net/vbirdbest/article/details/82688462
3、kafka安装
（1）tar -xvf kafka_2.13-2.5.0.tgz解压到当前文件夹，然后将文件夹的名字改为kafka
（2）vi /etc/profile，配置环境变量，将如下内容写入/etc/profile，然后source /etc/profile使环境变量生效
#set kafka environment
export KAFKA_HOME=/usr/bale/kafka
PATH=${KAFKA_HOME}/bin:$PATH
Zookeeper集群搭建
简单的说kafka集群依赖zookeeper集群，这里先说下该如何配置并启动zookeeper集群
1、进入/usr/bale/zookeeper/conf目录，将zoo.sample.cfg更名为zoo.cfg
2、创建/usr/bale/zookeeper/zkdata目录，用来存储zookeeper数据
3、修改zoo.cfg配置文件如下：
其中server.A=B:C:D的含义是：
A --- 数字，表示zookeeper服务器编号
B --- IP地址，表示zookeeper服务器地址
C --- zk集群Leader选举的端口号
D --- zookeeper服务器间通信端口号
4、在三台机器的/usr/bale/zookeeper/zkdata目录下分别执行如下命令：
echo "1" > /usr/bale/zookeeper/zkdata/myid
echo "2" > /usr/bale/zookeeper/zkdata/myid
echo "3" > /usr/bale/zookeeper/zkdata/myid
5、上述配置完成后，执行zkServer.sh start启动zookeeper集群，启动后可以用zkServer.sh status查看zookeeper集群状态
192.168.1.51
192.168.1.52
192.168.1.53
如上图所示，表示zookeeper集群启动成功
kafka集群搭建
1、创建/usr/bale/kafka/kafka-logs目录，作为kafka数据存储路径
2、修改kafka配置文件/usr/bale/kafka/config/server.properties文件
（1）broker.id分别指定为1/2/3，然后修改listeners参数
（2）指定kafka数据存储路径
（3）指定zookeeper连接地址以及topic可删除
delete.topic.enable=true
zookeeper.connect=192.168.1.51:2181,192.168.1.52:2181,192.168.1.53:2181
3、启动kafka集群kafka-server-start.sh -daemon config/server.properties
4、通过shell脚本，创建topic，验证kafka集群是否正常
kafka-topics.sh --create --zookeeper 192.168.1.51:2181 --partitions 2 --replication-factor 2 --topic test-kafka-cluster
kafka-topics.sh --describe --zookeeper 192.168.1.51:2181 --topic test-kafka-cluster
如图所示该topic有两个分区，两个副本，kafka集群正常启动
