kafka在linux下安装

简介

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。

相关术语（参考百度百科）

Broker
　　Kafka集群包含一个或多个服务器，这种服务器被称为broker
Topic
　　每条发布到Kafka集群的消息都有一个类别，这个类别被称为Topic。（物理上不同Topic的消息分开存储，逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处）
Partition
　　Partition是物理上的概念，每个Topic包含一个或多个Partition
Producer
　　负责发布消息到Kafka broker
Consumer
　　消息消费者，向Kafka broker读取消息的客户端
Consumer Group
　　每个Consumer属于一个特定的Consumer Group（可为每个Consumer指定group name，若不指定group name则属于默认的group）

　　

下载

http://kafka.apache.org/

https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

安装

说明：依赖zk，zk安装：https://www.cnblogs.com/uncleyong/p/10737119.html

解压

tar -zxvf kafka_2.12-2.3.0.tgz -C /usr/local/

 

创建存放数据的文件夹：mkdir data

修改配置文件：vim server.properties

 

 

kafka默认端口9092

 

查看zk的配置（另外，zookeeper安装，请参考：https://www.cnblogs.com/uncleyong/p/10737119.html）

vim zoo.cfg，zk的端口是2180

 

kafka中对应修改为2180

 

 

启动服务

先启动zookeeper：./zkServer.sh start

 

再启动kafka：./kafka-server-start.sh ../config/server.properties &

 

 

jps -l

 

测试

创建Topic：./kafka-topics.sh --create --zookeeper localhost:2180 --replication-factor 1 --partitions 5 --topic test

 

查看Topic列表：./kafka-topics.sh --list --zookeeper localhost:2180

 

查看分区

 

启动kafka的生产者，发送消息：全栈

 

启动kafka的消费者

消费者1

消费者2

 

生产者再次发送消息：test

 

消费者1取消息

 

消费者2取消息

 

消息存在分区里面了

 

 

创建主题报错

./kafka-topics.sh --create --zookeeper localhost:2180 --replication-factor 1 --partitions 5 --topic test

 

ERRO[1147] Cannot get current offset of topic __consumer_offsets partition 49: dial tcp: lookup qzcsbj on 192.168.117.2:53: no such host source="kafka_exporter.go:298"
ERRO[1147] Cannot get oldest offset of topic __consumer_offsets partition 49: dial tcp: lookup qzcsbj on 192.168.117.2:53: no such host source="kafka_exporter.go:310"

 

vim /etc/hosts
# 在文件末尾添加
 
192.168.117.180 qzcsbj

 

最新原文：https://www.cnblogs.com/uncleyong/p/13338077.html