Linux环境搭建kafka

一、由于Kafka是用Scala语言开发，运行在JVM上，因此需要先安装jdk及配置环境变量

环境：jdk1.8，CentOS release 6.8 (Final）

jdk安装及配置环境步骤：

jdk各版本下载地址：https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

1）上传jar包只服务器

2）解压jar包，tar  -xvf   jdk-8u211-linux-x64.tar.gz

也可以直接使用tar  -xvf  jdk-8u211-linux-x64.tar.gz  -C  /usr/bin/java(直接压缩到指定目录)

配置环境变量：

vi /etc/profile，shift+G到末尾，在最后面追加

#java enviroment
export JAVAHOME=/usr/bin/java/jdk1.8.0_211
export CLASS_PATH=.:${JAVAHOME}/jre/lib/rt.jar:${JAVAHOME}/lib/dt.jar:${JAVAHOME}/lib/tools.jar
export PATH=$PATH:${JAVAHOME}/bin

二、配置kafka

kafka版本下载地址：http://kafka.apache.org/downloads

1）下载版本：kafka_2.11-1.0.0.tgz

 

2）同上步骤，使用rz和解压jar包。 

3）使用./kafka-server-start.sh  ./config/server.properties启动kafka服务

但是一直提示这个问题，找不到这个文件。

ps:自已鼓捣了几个小时之后，尝试过卸载jdk和kafka重新装了几次，以及更换版本和下载另外的Zookpeer包，失败。

4.解决办法：直接执行软链接命令：ln -s 源文件 目标文件  

ln -s  jdk1.8.0_211  jdk1.8

cd /usr/bin/java会发现就多了个文件夹：

1） 再使用./kafka-server-start.sh config/server.properties命令启动，提示找不到目录

 2）再使用./kafka-server-start.sh  ../config/server.properties命令启动

 显示拒绝链接

3）用netstat -tnlp|grep 2181检查端口是否启动，是启动的。

4）再用./zookeeper-server-start.sh ../config/zookeeper.properties启动zookeeper

5）再使用nohup ./zookeeper-server-start.sh ../config/zookeeper.properties &（后台启动）

6）同样：nohup ./kafka-server-start.sh ../config/server.properties &

7）最后使用：netstat -tnlp查看正在运行的服务

 注意:

A. 这里使用nohup ./kafka-server-start.sh ../config/server.properties &命令，不能在同一个文件夹下，会被覆盖。先启动zookpeer，在启动kafka。

B. 这里的端口应该改成0.0.0.0:9092

5.创建topic

使用命令：./kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic xiaotopic

 6.查看创建的topic

使用命令：./kafka-topics.sh  --list --zookeeper localhost:2181

 7.生产者生产消息

使用命令：./kafka-console-producer.sh  --broker-list localhost:9092 --topic xiaotopic

 8.消费者消费消息

使用命令：./kafka-console-consumer.sh --bootstrap-server localhost:9092 --from-beginning --topic xiaotopic

 这样就算本地搭建kafka和调试成功了

9.最后验证本地log文件，即成功！

 jps命令查看是否启动kafka，我这里已经stop掉了的