遇一山,过一山,处处有风景;只要勇敢向前,一路尽是繁花盛开。 | (点击查看→)【测试干货】python/java自动化、持续集成、性能、测开、简历、笔试面试等

kafka在linux下安装

简介

Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者在网站中的所有动作流数据。

相关术语(参考百度百科)

Broker
  Kafka集群包含一个或多个服务器,这种服务器被称为broker
Topic
  每条发布到Kafka集群的消息都有一个类别,这个类别被称为Topic。(物理上不同Topic的消息分开存储,逻辑上一个Topic的消息虽然保存于一个或多个broker上但用户只需指定消息的Topic即可生产或消费数据而不必关心数据存于何处)
Partition
  Partition是物理上的概念,每个Topic包含一个或多个Partition
Producer
  负责发布消息到Kafka broker
Consumer
  消息消费者,向Kafka broker读取消息的客户端
Consumer Group
  每个Consumer属于一个特定的Consumer Group(可为每个Consumer指定group name,若不指定group name则属于默认的group)

  

下载

http://kafka.apache.org/

https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

安装

说明:依赖zk,zk安装:https://www.cnblogs.com/uncleyong/p/10737119.html

解压

tar -zxvf kafka_2.12-2.3.0.tgz -C /usr/local/

 

创建存放数据的文件夹:mkdir data

修改配置文件:vim server.properties

 

 

kafka默认端口9092

 

查看zk的配置(另外,zookeeper安装,请参考:https://www.cnblogs.com/uncleyong/p/10737119.html

vim zoo.cfg,zk的端口是2180

 

kafka中对应修改为2180

 

 

启动服务

先启动zookeeper:./zkServer.sh start

 

再启动kafka:./kafka-server-start.sh ../config/server.properties &

 

 

jps -l

 

测试

创建Topic:./kafka-topics.sh --create --zookeeper localhost:2180 --replication-factor 1 --partitions 5 --topic test

 

查看Topic列表:./kafka-topics.sh --list --zookeeper localhost:2180

 

查看分区

 

启动kafka的生产者,发送消息:全栈

 

启动kafka的消费者

消费者1

消费者2

 

生产者再次发送消息:test

 

消费者1取消息

 

消费者2取消息

 

消息存在分区里面了

 

 

创建主题报错

./kafka-topics.sh --create --zookeeper localhost:2180 --replication-factor 1 --partitions 5 --topic test

 

ERRO[1147] Cannot get current offset of topic __consumer_offsets partition 49: dial tcp: lookup qzcsbj on 192.168.117.2:53: no such host source="kafka_exporter.go:298"
ERRO[1147] Cannot get oldest offset of topic __consumer_offsets partition 49: dial tcp: lookup qzcsbj on 192.168.117.2:53: no such host source="kafka_exporter.go:310"

 

vim /etc/hosts
# 在文件末尾添加
 
192.168.117.180 qzcsbj

 

最新原文:https://www.cnblogs.com/uncleyong/p/13338077.html

 

posted @ 2020-07-18 23:15  全栈测试笔记  阅读(1628)  评论(0编辑  收藏  举报
浏览器标题切换
浏览器标题切换end