Kafka的安装和配置

安装Kafka的方式,分别为:单节点单Broker部署、单节点多Broker部署、集群部署(多节点多Broker)。实际生产环境中使用的是第三种方式,以集群的方式来部署Kafka

Kafka强依赖ZK,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。有人可能会说我在使用Kafka的时候就没有安装ZK,那是因为Kafka内置了一个ZK,一般我们不使用它

 

安装JDK(kafka依赖jdk)

 

一、Kafka 单节点部署

Kafka中单节点部署又分为两种,一种为单节点单Broker部署,一种为单节点多Broker部署。因为是单节点的Kafka,所以在安装ZK时也只需要单节点即可

1、cd /usr/local/software  # 这里自定安装目录

2、wget http://www.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz  # 下载kafka

3、tar -xzvf kafka_2.11-0.8.2.1.tgz  # 解压

4、mv kafka_2.11-0.8.2.1 /usr/local/kafka  # 移动到安装目录

5、mkdir /usr/local/kafka/log/kafka  # 如果提示没有此目录则手动创建

6、cd /usr/local/kafka/config # 进入配置目录

7、vim server.properties 

8、找到broker.id=0这一行,后面添加下面的内容

port=9092 # 端口号

host.name=192.168.5.56  # 服务器IP地址,修改为自己的服务器IP

log.dirs=/usr/local/kafka/log/kafka  # 日志存放路径,上面创建的目录

zookeeper.connect=localhost:2181  # zookeeper地址和端口,单机配置部署,localhost:2181

9、mkdir /usr/local/kafka/zookeeper  # 创建zookeeper目录

10、mkdir /usr/local/kafka/log/zookeeper  # 创建zookeeper日志目录

11、cd /usr/local/kafka/config   # 进入配置目录

12、vi zookeeper.properties #编辑修改相应的参数

dataDir=/usr/local/kafka/zookeeper #zookeeper数据目录

dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目录

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

syncLimit=5

13、cd /usr/local/kafka  # 创建启动脚本

14、vi kafkastart.sh  # 这是新建一个脚本

#!/bin/sh

#启动zookeeper

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

#等3秒后执行

sleep 3

#启动kafka

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

15、vi kafkastop.sh # 创建关闭脚本

#!/bin/sh

#关闭zookeeper

/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3 #等3秒后执行

#关闭kafka

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

 16、添加启动和关闭脚本的权限

chmod +x kafkastart.sh

chmod +x kafkastop.sh

17、vi /etc/rc.d/rc.local  # 这个文件就在这个目录下有,设置脚本开机自动执行

sh /usr/local/kafka/kafkastart.sh #启动kafka

sh /usr/local/kafka/kafkastop.sh #关闭kafka

18、jps -lm  # 查看kafka

 

posted @ 2019-05-31 17:18  clyde_S  阅读(218)  评论(0编辑  收藏  举报