Kafka - Kafka 部署安装

一、背景:集群规划

 

二、Kafka 集群部署

  

  • 修改配置文件
cd config/
vi server.properties

# 输入以下内容:
#----------------
#broker 的全局唯一编号,不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true
#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600
#kafka 运行日志存放的路径
#默认的位置是tmp/,临时目录,会被定期自动删除
log.dirs=/opt/module/kafka/logs
#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间,超时将被删除
log.retention.hours=168
#配置连接 Zookeeper 集群地址
#特意加上/kafka,是为了节点更集中,将来集体删除时更方便
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka

 

 

 

具体参考:Linux - xsync同步脚本的使用

 

 

易错:

关闭kafka的时候,要先关闭kafka,再关闭zookeeper。

一定不能先关zookeeper,否则关不掉kafka。因为kafka关闭之前,不会立马shutdown,需要和zookeeper通信一下才会关闭。

 

 

  • kafka群起脚本

 

 

 

 

 

三、Kafka 命令行操作

 

想查看每个sh命令的使用规则,直接找到sh文件的路径,打回车即可。

 

 

 

3.1 kafka-topics.sh

 

 

 

 

如果加上--from-beginning: 会把该主题以往所有的数据都读取出来

不加上该参数,默认是只读取增量的数据。

 

3.2 kafka-console-producer.sh

3.3 kafka-console-consumer.sh

 

posted on 2022-03-26 23:41  frank_cui  阅读(39)  评论(0)    收藏  举报

导航

levels of contents