Kafka组件的部署

kafka组件的部署

1.0 部署Kafka之前必须先安装zookeeper

1.0.1 zookeeper的安装

1.0.1.0 先去官网下载zookeeper

网址:https://downloads.apache.org/zookeeper/

1.0.1.2 下载好放在一台zookeeper服务器上解压

命令:tar zxvf apache-zookeeper-3.5.7-bin.tar.gz -C 要解压到的目录或者路径

1.0.1.3 进入conf目录下，复制zoo_sample.cfg文件，名字为zoo.cfg (不然启动找不到该文件)

命令:	cd ./apache-zookeeper-3.5.7-bin/conf
	 cp zoo_sample.cfg zoo.cfg

1.0.1.4 配置环境变量

命令:vi /etc/profile.d/my_env.sh
	
	#ZOOKEEPER_HOME
	export ZOOKEEPER_HOME=[zookeeper安装路径]
	export PATH=$PATH:$ZOOKEEPER_HOME/bin

1.0.1.5 启动服务

命令:#启动
sh ./zkServer.sh start
#查看启动状态
sh ./zkServer.sh status

启动成功如下图

1.0.1.6 安装好zookeeper之后开始安装Kafka！！！！

1.1 Kafka组件的安装与部署

1.1.0 Kafka的安装

1.1.0.1 先去官网下载地址

地址:http://kafka.apache.org/downloads

1.1.0.2 下载好之后放在Kafka服务器上面解压并配置环境变量

命令:tar zxvf kafka_2.12-2.3.0.tgz -C 解压到的路径

配置环境变量:vi /etc/profile.d/my_env.sh
输入以下内容:
			#KAFKA_HOME
			export KAFKA_HOME=/usr/kfk/kafka_2.11-1.0.0
			export PATH=$PATH:$KAFKA_HOME/bin

1.1.0.3 在conf目录下配置集群

命令:vi server.properties

1.1.1.3.0 把broker.id改成0，1，2三台机器不一样

1.1.1.3.1 把listeners生效，并加上本机IP

命令:listeners=PLAINTEXT://本机ip:9092

如图:

1.1.1.3.2 指定zookeeper链接地址，改成zookeeper服务器地址

命令:zookeeper.connect=主机IP

1.1.1.3.3 启动Kafka，三台机器启动

命令:sh kafka-server-start.sh -daemon ../config/server.properties
	#查看zookeeper
	ps -ef|grep zookeeper

1.1.1 启动完后，查看zookeeper集群链接情况

1.进入zookeeper的bin目录下执行

sh zkCil.sh

#查看 执行
ls /

#查看连接情况
ls /brokers/ids

如下图:

1.2 任意一台机器，新建topic

sh kafka-topics.sh --create --zookeeper 192.168.88.137:2181 --replication-factor 1 --partitions 1 --topic test
 
 #说明
 #192.168.88.137:2181  ###这是zookeeper服务ip+端口号
 #test ###这是topic

1.2.1 使用任意一台Kafka服务器做生产者

命令:

sh kafka-console-producer.sh --broker-list 192.168.88.132:9092 --topic test

1.2.2 使用3台Kafka消费

命令:

./kafka-console-consumer.sh --bootstrap-server 192.168.88.132:9092 --topic test --from-beginning

效果图如下: