在centos7中安装和使用kafka

参考文档：https://blog.csdn.net/zzq900503/article/details/83348419
安装环境准备
jdk1.8
jdk安装：https://www.cnblogs.com/miamianfighting/p/13965219.html

安装kafka
在官网下载kafka安装包，并解压
http://kafka.apache.org/downloads

安装zookeeper服务
方案1：使用kafka自带的kafaka
适用于测试等小型场景或者单点kafka
使用kafka安装包中的脚本启动单节点zookeeper实例

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

方案2：单独安装zookeeper服务
下载地址：http://zookeeper.apache.org/releases.html

tar -zxf apache-zookeeper-3.6.2-bin.tar.gz

进入conf文件夹中
拷贝出来一份复制文件

cp zoo_sample.cfg zoo.cfg

修改zoo.cfg配置文件

 #指定zk的基准时间间隔

    tickTime=2000

    #指定zk存放数据文件夹的目录为 /usr/local/zookeeper/data

    dataDir= /usr/local/zookeeper/data

    #指定zk存放日志文件夹的目录为：/usr/local/zookeeper/logs

    dataLogDir=/usr/local/zookeeper/logs

    #指定客户端访问zk的端口号为2181

    clientPort=2181

修改系统的环境变量

   vi /etc/profile
   #add zk config to profile
   #zk dir
   export  ZK_HOME=/usr/local/zookeeper/zookeeper-3.4.13
   #append zk bin to  system path
   export PATH=${ZK_HOME}/bin:$PATH

使环境变量生效

source  /etc/profile 

启动zk

zkServer.sh start

查看zk的运行状态

zkServer.sh status

安装kafka

解压
在kafka目录下创建目录kafka-logs

mkdir kafka-logs

编辑配置文件

vi config/server.properties

listeners=PLAINTEXT://192.168.38.131:9092

启动zookeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

启动kafka

bin/kafka-server-start.sh config/server.properties

创建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic my_topic

查看topic

bin/kafka-topics.sh --list --zookeeper localhost:2181

生产者

bin/kafka-console-producer.sh --broker-list 192.168.38.131:9092 --topic my_topic

消费者

bin/kafka-console-consumer.sh --bootstrap-server 192.168.38.131:9092 --topic my_topic --from-beginning