kafka集群搭建

搭建zookeeper

一、概述

zookeeper是一个开源的且支持分布式部署到应用程序，是Google的Chubby一个开源的实现；它为分布式应用提供了一致性服务支持，包括：配置维护，域名服务，分布式同步，组服务等。

官网：https://zookeeper.apache.org/index.html

二、集群搭建

1. 目标：分别在  192.168.18.111、192.168.18.112、192.168.18.113 三台虚拟机安装zookeeper，搭建zookeeper集群。

2.  步骤：

    a. 下载 https://zookeeper.apache.org/releases.html，这里下载apache-zookeeper-3.8.4-bin.tar.gz

    b. 解压 解压在/home目录下  

tar xf apache-zookeeper-3.8.4-bin.tar.gz  -C /home/

    c、在解压的目录下创建文件夹   

cd  /home/apache-zookeeper-3.8.4-bin/
mkdir data logs

   d、重命名配置文件

mv  zoo_sample.cfg  zoo.cfg

   e、修改配置文件

 

 

 

 

 

 

 

 

 

 

 

 

 

 

访问节点 

/home/apache-zookeeper-3.8.4-bin/bin/zkCli.sh  -server 192.168.18.111:2181

 

//挂起运行
bin/zookeeper-server-start.sh config/zookeeper.properties

//后台运行
nohup bin/zookeeper-server-start.sh config/zookeeper.properties >/dev/null 2>&1 &

//关闭挂起运行
ctrl+c

//关闭后台运行
bin/zookeeper-server-stop.sh

 

 

搭建kafka集群

 

 

 

 

 

 

 

//挂起运行
bin/kafka-server-start.sh config/server.properties

//后台运行
nohup bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

关闭挂起运行
ctrl+c
//关闭后台运行
bin/kafka-server-stop.sh

 

# 创建主题
kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic mytest

# 查看主题
kafka-topics.sh --list --bootstrap-server localhost:9092

# 发送消息
kafka-console-producer.sh --broker-list  192.168.18.111:9092 --topic  mytest

# 消费消息

kafka-console-consume.sh  --bootstrap-server  192.168.18.111:9092  --topic  mytest

 

 

# 图形化管理工具 
# 访问地址：http://服务器IP:9101/ 
# DEFAULT_USERNAME：默认账号admin 
# DEFAULT_PASSWORD：默认密码admin 
 # Git 地址：https://github.com/dushixiang/kafka-
# map/blob/master/README-zh_CN.md 
docker run -d --name kafka-map \ 
--network app-kafka \ 
-p 9101:8080 \ -v /opt/kafka-map/data:/usr/local/kafka-map/data \ 
-e DEFAULT_USERNAME=admin \ 
-e DEFAULT_PASSWORD=admin \ 
--restart always dushixiang/kafka-map:latest