Kafka学习之二 Kafka安装和使用
部署环境Linux(Centos 6.5),JDK 1.8.0,zookeeper-3.4.12,kafka_2.11-2.0.0。
1. 单机环境
官方建议使用JDK 1.8版本,因此本文使用的环境都是JDK1.8。如果小于1.8版本,请看我的博客:https://www.cnblogs.com/xuejiale/p/10504845.html 将环境的JDK更新到1.8版本。(PS:我开始使用机器默认安装的JDK 1.7,在启动kafka时会报错)。
由于Kafka依赖zookeeper,kafka通过zookeeper实现分布式系统的协调,所以我们需要先安装zookeeper。下面开始安装zookeeper:
(1)安装zookeeper
1)下载zookeeper并解压
下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/stable/,我下载的是 zookeeper-3.4.12.tar.gz
2)创建zookeeper配置文件
在zookeeper解压后的目录下找到conf文件夹,进入后,复制文件zoo_sample.cfg,并命名为zoo.cfg。zoo.cfg中一共四个配置项,可以使用默认配置。注意配置文件里面有一个dataDir可以修改成你自己的目录。
3)启动 zookeeper
进入zookeeper根目录执行 ./bin/zkServer.sh start,其他操作 start, stop, restart
[root@centos zookeeper-3.4.12]# ./bin/zkServer.sh start ZooKeeper JMX enabled by default Using config: /home/xuejiale/kafka_env/zookeeper-3.4.12/bin/../conf/zoo.cfg Starting zookeeper ... STARTED
(2)安装 kafka
1) 下载kafka并解压
下载地址:https://www.apache.org/dyn/closer.cgi?path=/kafka/2.0.0/kafka_2.11-2.0.0.tgz,我下载的是:kafka_2.11-2.0.0.tgz
2) 修改kafka的配置文件
进入kafka根目录下的config文件夹下,打开server.properties,修改如下配置项,当然也可以修改 log.dirs 为其他路径。
zookeeper.connect=localhost:2181 broker.id=0 log.dirs=/tmp/kafka-logs
zookeeper.connect是 zookeeper 的链接信息,broker.id 是当前 kafka 实例的 id,log.dirs 是 kafka 存储消息内容的路径。
3)启动kafka
进入kafka根目录执行 ./bin/kafka-server-start.sh ./config/server.properties,config/server.properties配置项为配置项。
[root@centos kafka_2.11-2.0.0]# ./bin/kafka-server-start.sh ./config/server.properties
启动kafka后,如果控制台没有报错信息,则kafka已经成功启动,我们可以通过查看zookeeper中相关节点值来确认。步骤如下:
- 启动zookeeper的client
进入zookeeper根目录下,执行 bin/zkCli.sh -server 127.0.0.1:2181。启动后如下:
- 输入命令 ls /brokers,回车,可以看到如下信息:
还记得我们在配置单机环境时,修改的kafka配置项broker.id=0 吗?这里的0就是表示那个kafka的实例已经加入了kafka集群。
2. 集群环境
集群环境的搭建也很简单,在单机环境的基础上,让多个单机连接到同一个zookeeper即可。需要注意两点:
(1)每个实例设置不同的broker.id。
(2)如果多个实例部署在同一台服务器,还要注意修改log.dirs为不同目录,确保消息存储时不会有冲突。
3. kafka 接收消息
我们通过kafka带的工具来创建一个topic,然后尝试发送和消费一个消息,直观的去感受下kafka。
(1)创建topic
进入kafka根目录,执行如下命令:
./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafkaTest
此命令行有几个参数,分别指明了zookeeper的链接信息,分区和副本的数量等。
执行成功后,创建了 kafkaTest 这个topic,如下图所示:
(2)启动消费者
进入kafka根目录,开启一个消费者并且订阅 kafkaTest 这个topic,执行如下命令:
./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic kafkaTest --from-beginning
看到如下图,光标停留在最前面,没有任何信息输出,说明启动消费者成功,此时在等待新的消息。
(3)开启生产者
新开一个窗口,进入kafka根目录,输入如下命令:
./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic kafkaTest
启动成功后,如下图,等待你输入新的消息:
(4)发送消息
生产者:在上面生产者的窗口输入一条消息 hello kafka,点击回车,如下图:
消费者:此时切换到消费者的窗口,可以看到消费者已经消费到这条消息,在窗口中打印了出来:
总结:本节搭建起kafka单机环境,然后通过kafka自带的工具,直观的感受了kafka运转的整个过程,经历了创建topic、启动生产者、启动消费者、生产者生产消息、消费者消费消息,这几个步骤。后面将会分析kafka的设计理念和原理。
kafka数据存储:https://www.cnblogs.com/jun1019/p/6256514.html
安装kafka遇到问题及解决方法:
问题1:启动kafka报如下错误?
解决方法:JDK版本小于1.8,将当前环境JDK更新到1.8
问题2:使用 kafka 创建 topic报如下错误?
解决方法:没有启动zookeeper,启动之后再启动 kafka 即可。
问题3:在启动kafka时报未知的名称或者服务?
解决方法:这是由于无法识别机器名(centos)在/etc/hosts中增加下面红色部分。
192.168.30.134 centos localhost 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
问题4:在启动 kafka 时报找不到java?
解决方法:启动 kafka 等脚本中会使用JAVA环境变量, 要在/etc/profile中设置环境变量。
JAVA_HOME=/usr/jdk CLASSPATH=$JAVA_HOME/lib/ PATH=$PATH:$JAVA_HOME/bin JAVA=$PATH:$JAVA_HOME/bin export PATH JAVA_HOME CLASSPATH JAVA
参考文献:
- https://blog.csdn.net/liyiming2017/article/details/82790574
- http://kafka.apache.org/ (官网)