安装kafka 、zk集群

前提说明：

本次安装版本及部署到三台机器上

 

 

Zk	ip	port	myid
zk1	10.100.20.241	2181	1
zk2	10.100.20.242	2182	2
zk3	10.100.20.243	2183	3

 

Kafak	ip	port	broker.id
kafka1	10.100.20.241	9092	1
kafka1	10.100.20.242	9092	2
kafka1	10.100.20.243	9092	3

 

 

一、准备zk集群安装

以10.100.20.241机器根目录/data为例：

mkdir zk1

1、下载

wget http://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz

2、解压、cp

tar zxvf zookeeper-3.4.14.tar.gz

在文件夹中分别创建 data、datalog目录

3、修改配置文件

进入conf下、复制zoo_sample.cfg文件

cp zoo_sample.cfg ./zoo.cfg

vim zoo.cfg

修改

dataDir=/data/zk1/data

dataLogDir=/data/zk1/datalog

clientPort=2181

server.1=10.100.20.241:2888:3888

server.2=10.100.20.242:2888:3888

server.3=10.100.20.243:2888:3888

 

4、创建myid

echo 1 >> /data/zk1/data/myid

5、环境变量

vim /etc/profile

#set zookeeper environment
export ZK_HOME=/data/zk1/
export PATH=$ZK_HOME/bin:$PATH

保存退出：wq

环境变量生效 source /etc/profile

6、启动

sh /data/zk1/bin/zkServer.sh start

7、查看状态

sh /data/zk1/bin/zkServer.sh stauts

 

8、另外两台机器

重复上面3、4、5、6、7步骤、注意修改对应端口和myid

9、查看状态

sh /data/zk1/bin/zkServer.sh stauts

会有mode类型区别

 

二、准备kafka集群安装

还是以10.100.20.241机器为例：

新建 /data/kafka1

1、下载

wget https://archive.apache.org/dist/kafka/2.0.1/kafka_2.11-2.0.1.tgz

2、解压

tar zxvf kafka_2.11-2.0.1.tgz

进入kafka创建目录kafkalogs

3、修改环境变量

#set kafka environment
export KAFKA_HOME=/usr/local/kafka/kafka_2.11-2.0.1
PATH=${KAFKA_HOME}/bin:$PATH

保存退出：wq

环境变量生效 source /etc/profile

4、修改配置文件

 

vim server.properties

修改

 

broker.id=1

listeners=PLAINTEXT://10.100.20.241:9092

log.dirs=/data/kafka/kafkalogs

zookeeper.connect=10.100.20.241:2181,10.100.20.242:2182, 10.100.20.243:2183

 

保存退出

5、启动

./bin/kafka-server-start.sh -daemon config/server.properties

6、修改另外两台机器

重复上面1、2、3、4、5步骤、注意修改对应端口和broker.id

 

7、验证

创建topic

../bin/kafka-topics.sh --create --zookeeper 10.100.20.241:2181,10.100.20.242:2182, 10.100.20.243:2183 --replication-factor 1 --partitions 1 --topic test

查看topic列表

../bin/kafka-topics.sh -describe -zookeeper 10.100.20.241:2181,10.100.20.242:2182, 10.100.20.243:2183

完毕！！！！