第一节:Kafka简介、基于Centos8.x进行Kafka的搭建与配置、windows下的快速使用

一. Kafka简介

 1. 简介

 

 官网:http://kafka.apache.org/

 

2. 优点

 

 

3.常用术语

 

 

4. 与其他消息队列比较

 

 

 

 

二. 搭建与配置

前提准备:

  操作系统:Centos8.0 (腾讯云)

  JDK:jdk11 (rpm包)

  Zookeeper:协调器 【版本3.6.3】

  kafka:【版本2.8.0】

  kafka-manager:  集群管理工具,最早由雅虎开源,用户可以在Web界面执行一些简单的集群管理操作 【版本 1.3.3.7】

  kafkatool:可视化工具

1. 安装jdk

(1). 去官网( https://www.oracle.com/java/technologies/javase-downloads.html) 选择jdk11版本,这里下载rpm包,然后把该安装包copy到ypfInstall目录下。

 

(2). 运行指令【chmod +x jdk-11.0.11_linux-x64_bin.rpm】给该安装包添加可执行权限。

(3). 运行指令 【 rpm -ivh jdk-11.0.11_linux-x64_bin.rpm 】进行jdk的安装

(4). 查看java版本【java -version】,如下图,说明jdk安装成功。

2. 安装Zookeeper

(1). 去官网(https://zookeeper.apache.org/releases.html)下载 3.6.3  [ apache-zookeeper-3.6.3-bin.tar.gz ] 稳定版本,然后copy到服务器中ypfInstall目录下。

(2). 运行指令【tar -zxvf apache-zookeeper-3.6.3-bin.tar.gz】,进行解压。 然后运行指令【mv apache-zookeeper-3.6.3-bin zookeeper3.6.3】重命名一下,方便后续好操作。

(3). 进入zookeeper的根目录,然后把conf下的zoo_sample.cfg这个文件重命名为zoo.cfg

【cd conf】

【 mv zoo_sample.cfg zoo.cfg]

(4). 进入zookeeper目录下,运行指令【./bin/zkServer.sh start】进行启动。   

【./bin/zkServer.sh stop】是关闭指令

(4). 运行指令【jps】,如下图,表示启动成功

3. 安装Kafka

(1). 进入官网 (http://kafka.apache.org/downloads) 进行下载,这里下载2.8.0版本(kafka_2.13-2.8.0.tgz),然后copy到服务器中ypfInstall目录下。(PS 不要下载Source download后面的,那是纯源码,需要自己编译)

 

(2). 运行指令【tar -zxvf kafka_2.13-2.8.0.tgz 】进行解压,为了方便操作重命名一下 【mv kafka_2.13-2.8.0 kafka2.8.0】

(3). 修改kafka根目录下 config/server.properties 配置文件,如下

云服务器配置:

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0

#下面是新增的
port=9092
#内网
host.name=10.206.0.17   
#外网
advertised.host.name=119.45.174.249

注意:上面的配置是云服务器的,需要同时配置内网和外网,如果在本地虚拟机中,只需如下配置:

虚拟机配置:

############################# Server Basics #############################

# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0

#下面是新增的
port=9092
host.name=192.168.137.201  

(4). 启动Kafak

 在kafka的根目录下运行指令 【./bin/kafka-server-start.sh -daemon config/server.properties】 进行启动

PS: -daemon 表示后台启动。

运行指令【jps】如下图,表示kafka启动成功。

(5). 关闭Kafak

 在kafka的根目录下运行【./bin/kafka-server-stop.sh】

4. 安装Kafka-manager

 (相关使用参考:https://www.cnblogs.com/frankdeng/p/9584870.html)

(1). 进入官网进行下载(https://github.com/yahoo/CMAK/releases),这里下载 kafka-manager-1.3.3.7.zip 版本,并且copy到服务器中的ypfInstall目录下

(2). 运行下面指令,安装解压工具

【yum install -y unzip zip】 

 

(3). 进行解压 【 unzip kafka-manager-1.3.3.7.zip】

 

(4). 进入kafka-manager-1.3.3.7的根目录,运行指令【./bin/kafka-manager -daemon】进行启动

#启动该软件了, 进入解压文件的bin目录 可以指定端口号,但是有时候会出错 默认是9000
./bin/kafka-manager -Dconfig.file=./config/application.conf -Dhttp.port=9000

#如果报错直接执行下面的 端口号默认是9000
./bin/kafka-manager  
#./bin/kafka-manager -daemon

 

 

 

三. Windows下的快速使用

1. 说明

   这里以【3.2.0】版本为例,如下目录 F:\kafka_2.13-3.2.0\bin\windows, 即windows操作环境,里面内置了zookeeper,不需要再单独安装。

注:建议把kafka放到某个磁盘的根目录下,否则目录太长导致启动指令无效。 

PS:zookeeper对应的配置文件 config/zookeeper.properties         kafka对应的配置文件  config/server.properties

        默认数据持久化在kafka统计目录下的tmp文件夹下:

2. 使用

(1). cmd下的指令

    启动zookeeper:zookeeper-server-start.bat ../../config/zookeeper.properties

    启动kafka: 【kafka-server-start.bat ../../config/server.properties】

(2). powershell下的指令

    启动zookeeper:./zookeeper-server-start.bat ../../config/zookeeper.properties

    启动kafka:./kafka-server-start.bat ../../config/server.properties

注:powershell下的指令类似linux,当前目录需要写:  ./  符号。

3. 可视化工具

 使用kafka tools进行链接zookeeper,默认端口为 2181

 

 

 

 

 

!

  • 作       者 : Yaopengfei(姚鹏飞)
  • 博客地址 : http://www.cnblogs.com/yaopengfei/
  • 声     明1 : 如有错误,欢迎讨论,请勿谩骂^_^。
  • 声     明2 : 原创博客请在转载时保留原文链接或在文章开头加上本人博客地址,否则保留追究法律责任的权利。
 
posted @ 2021-04-24 11:24  Yaopengfei  阅读(543)  评论(1编辑  收藏  举报