kafka的安装配置

说明，在安装kafka之前，必须将ZooKeeper先行安装好，具体详细的安装过程可参考 https://www.cnblogs.com/cstark/p/14573395.html

在官网 https://zookeeper.apache.org/releases.html#download 下载相应的安装包，此处用的是 kafka_2.11-0.11.0.0.tgz

1.将文件进行上传，并解压安装，并修改目录名称

tar -zxvf kafka_2.11-0.11.0.0.tgz -C /opt/soft/
mv kafka_2.11-0.11.0.0/ kafka_2.11-0.11/

2.修改配置文件 server.properties，此文件的地址为 /opt/soft/kafka_2.11-0.11/config/server.properties

[root@master module]# cd /opt/soft/kafka_2.11-0.11/config/  
[root@master config]# vim server.properties

　修改的地方有以下几处

1）修改 broker.id=1  尽量与上面配置的zookeeper myid 保持一致　

2）将是否可以删除topic的功能改为ture

2）修改文件的存放地址，此处的data既是数据的也是日志的存放地址

 

3）添加集群的信息，以逗号隔开

 

 3.对文件进行分发，

scp -r /opt/soft/kafka_2.11-0.11 root@slave1:/opt/soft/
scp -r /opt/soft/kafka_2.11-0.11 root@slave2:/opt/soft/

4.修改分发后的配置文件中的broker.id 值，此处本人分别修改为2和3

 

5.启动kafka，

1）启动kafka集群前先启动zookeeper集群

2）进入kafka 目录下，执行以下命令 启动kafka 集群

[root@master kafka_2.11-0.11]# bin/kafka-server-start.sh config/server.properties

　

其中后台运行启动方式为

./bin/kafka-server-start.sh -daemon config/server.properties &
# 或者直接
/opt/soft/kafka_2.11-0.11/bin/kafka-server-start.sh -daemon /opt/soft/kafka_2.11-0.11/config/server.properties

备注：如果报错以下则说明是kafka的后台进程没有开，org.apache.kafka.common.errors.InvalidReplicationFactorException: replication factor: 1 larger than available brokers: 0

将kafka的后台进程打开，

 

 再次执行，就可以成功了

新建一个topic ，需要保证zookeeper 和kafka均开启。

./bin/kafka-topics.sh --create --zookeeper master:2181, slave1:2181, slave1:2181 --replication-factor 3 --partitions 3 --topic test

查看topic里面的数据

/opt/soft/kafka_2.11-0.11/bin/kafka-console-consumer.sh --bootstrap-server master:9092 --from-beginning --topic test

清空某个topic里面的数据

./bin/kafka-topics.sh --delete --zookeeper master:2181 --topic test