Centos 7.X 上安装Kafka及一些常用命令
Centos 7.X 上安装Kafka及常用命令
1、下载
下载地址：http://kafka.apache.org/downloads.html 或百度网盘自取
链接：https://pan.baidu.com/s/1qIs3iehi56Qg7Wahj66VVQ
提取码：qmdb
2、安装
首先在进行kafka安装时需要依赖于zookeeper，这儿我事先准备好了三个节点的Zookeeper环境，
Zookeeper的搭建可参考https://www.cnblogs.com/ysocean/p/9860529.html
我事先搭建好的Zookeeper信息如下：
192.168.232.3:2181,192.168.232.4:2181（master）,192.168.232.5:2181
上传到Linux服务器之上
1. 解压：
tar -zxvf kafka_2.12-2.6.0.tgz -C /usr/local/
2. 进入到解压时指定的目录之下，重命名一下kafka文件夹
mv kafka_2.12-2.6.0/ kafka_2.12
3. 进入解压后的目录，修改server.properties文件：
vim /usr/local/kafka_2.12/config/server.properties
修改信息如下：
broker.id=0
port=9092
host.name=192.168.232.3
advertised.host.name=192.168.232.3
log.dirs=/usr/local/kafka_2.12/kafka-logs
num.partitions=2
zookeeper.connect=192.168.232.3:2181,192.168.232.4:2181,192.168.232.5:2181
保存退出
然后创建kafka的日志文件目录，上述配置文件所指定的目录/usr/local/kafka_2.12/kafka-logs
mkdir /usr/local/kafka_2.12/kafka-logs
4. 启动kafka
/usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &
kafka启动完成
3、常用命令
（1）创建topic主题命令（创建一个名为test的topic） 进入kafka的bin目录下使用
./kafka-topics.sh --zookeeper 192.168.232.3:2181 --create --topic test --partitions 1
--replication-factor 1
## --zookeeper 为zk服务列表
## --create 命令后 --topic 为创建topic 并指定 topic name
## --partitions 为指定分区数量
## --replication-factor 为指定副本集数量
（2）查看topic列表命令
./kafka-topics.sh --zookeeper 192.168.232.3:2181 --list
（3）删除topic命令
./kafka-topics.sh --zookeeper 192.168.232.3:2181 --delete --topic test
（4）kafka命令发送数据
./kafka-console-producer.sh --broker-list 192.168.232.3:9092 --topic test
（5）kafka命令接受数据
./kafka-console-consumer.sh --bootstrap-server 192.168.232.3:9092 --topic test
--from-beginning
（6）kafka查看消费进度（若要查看一个消费者组的消费进度时，则使用如下命令进行查看）
./kafka-consumer-groups.sh --bootstrap-server 192.168.232.3:9092 --describe --group group
