kafka的安装过程

安装kafka需要经历3个过程

1. 安装JK
2. 安装zookeeper
3. 安装kafka

一、JDK安装

第一步：下载jdk（这里以java11为例）

下载地址：https://www.oracle.com/java/technologies/downloads/#java11

第二步：检查系统中是否已经安装过openjdk，如果有将其删除

rpm -qa | grep java
yum remove -y java-*

第三步：将jdk上传到主机，并解压缩到指定目录 /usr/local

tar zxvf jdk-11.0.12_linux-x64_bin.tar.gz -C /usr/local/

第四步：配置环境变量并刷新

# 编辑配置文件
vi /etc/profile.d/jdk11.sh
# 写入如下内容
export JAVA_HOME=/usr/local/jdk-11.0.12
export CLASS_PATH=.:$JAVA_HOME/lib/:$JAVA_HOME/bin/tools.jar
export PATH=$JAVA_HOME/bin:$PATH
# 加载配置文件
source /etc/profile.d/jdk11.sh

第五步：测试安装

java -version

二、zookeeper安装

2.1 单机部署zookeeper

第一步：下载zookeeper安装包（以3.6.0为例）

下载地址：http://archive.apache.org/dist/zookeeper/

第二步：上传到主机，并解压到指定目录 /opt/zookeeper

tar zxvf apache-zookeeper-3.6.0-bin.tar.gz -C /opt/
mv /opt/apache-zookeeper-3.6.0-bin/ /opt/zookeeper

第三步：在/opt/zookeeper/ 目录下创建数据文件目录和日志文件目录

mkdir /opt/zookeeper/zkData
mkdir /opt/zookeeper/zkLog

第四步：修改配置文件

# 复制一份配置文件并修改
cd /opt/zookeeper/conf/
cp zoo_sample.cfg zoo.cfg
vi zoo.cfg
# 修改如下内容
dataDir=/opt/zookeeper/zkData
dataLogDir=/opt/zookeeper/zkLog

第五步：测试安装

cd /opt/zookeeper/bin/
# 启动zookeeper
./zkServer.sh start
# 查看进程是否启动
jps
# 查看状态
./zkServer.sh status
# 停止zookeeper
./zkServer.sh stop

2.2 部署zookeeper集群

规划：使用三台主机搭建zookeeper集群

主机名      ip地址
server1    192.168.7.11/24
server2    192.168.7.12/24
server3    192.168.7.13/24

向 /etc/hosts文件中添加如下内容

192.168.7.11 server1
192.168.7.12 server2
192.168.7.13 server3

第一步：三台主机分别按照上面 2.2 步骤正确安装zookeeper

第二步：配置服务器编号

server1:

echo 1 > /opt/zookeeper/zkData/myid

server2:

echo 2 > /opt/zookeeper/zkData/myid

server3:

echo 3 > /opt/zookeeper/zkData/myid

第三步：配置zoo.cfg文件

分别向三台主机的zoo.cfg文件中添加如下内容

vi /opt/zookeeper/conf/zoo.cfg
# 添加如下内容
server.1=192.168.7.11:2888:3888
server.2=192.168.7.12:2888:3888
server.3=192.168.7.13:2888:3888

• 配置参数解读 server.A=B:C:D
  • A:一个数字表示第几号服务器，myid 文件中的值就是A的值
  • B:服务器ip地址
  • C:集群中与leader服务器交换信息的端口
  • D:选举时专用端口；万一集群中的leader挂了，需要一个端口用来重新选举

第四步：分别启动三台主机的zookeeper，并查看状态

cd /opt/zookeeper/bin/
# 启动zookeeper
./zkServer.sh start
# 查看进程是否启动
jps
# 查看状态
./zkServer.sh status

三、安装kafka

3.1 单机部署kafka

第一步：下载kafka安装包（以kafka_2.12-2.2.0为例）

下载地址：http://kafka.apache.org/downloads

第二步：解压到指定目录 /opt/kafka

tar -xvf kafka_2.12-2.2.0.tar -C /opt
mv /opt/kafka_2.12-2.2.0 /opt/kafka

第三步：修改核心配置文件 /opt/kafka/config/server.properties

修改如下6处：

• broker.id 配置的是集群环境，要求每台kafka都有唯一的brokerid
• log.dirs 数据存放的目录
• zookeeper.connect zookeeper连接池地址信息
• delete.topic.enable 是否直接删除topic
• host.name 主机名称
• 修改：listeners=PLATNTEXT://server1:9092

vi /opt/kafka/config/server.properties
# 修改以下内容
broker.id=1
listeners=PLAINTEXT://server1:9092
log.dirs=/opt/kafka/data
zookeeper.connect=server1:2181,server2:2181,server3:2181
# 文件尾部添加以下内容
delete.topic.enable=true
host.name=server1
# 创建数据存放目录
mkdir -p /opt/kafka/data

第四步：测试安装

cd /opt/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties 
jps
./kafka-server-stop.sh

3.2 部署kafka集群

第一步：分别将server1的 /opt/kafka 目录分发给server2和server3

cd /opt
scp -r kafka/ server2:$PWD
scp -r kafka/ server2:$PWD

第二步：server2与server3修改配置文件 server.properties

server2

vi /opt/kafka/config/server.properties
# 修改以下内容
broker.id=2
listeners=PLAINTEXT://server2:9092
host.name=server2

server3

vi /opt/kafka/config/server.properties
# 修改以下内容
broker.id=3
listeners=PLAINTEXT://server3:9092
host.name=server3

第三步：分别启动三台主机的kafka

cd /opt/kafka/bin
./kafka-server-start.sh -daemon ../config/server.properties 
jps

第四步：测试部署结果

登录zookeeper客户端，查看/brokers/ids

cd /opt/zookeeper/bin/
zkCli.sh
# 查询结果如下：
[zk: localhost:2181(CONNECTED) 0] ls /brokers/ids
[1, 2, 3]
[zk: localhost:2181(CONNECTED) 1] quit