ubuntu18.04下安装Kafka

一、 安装Java
更新软件包

  sudo apt-get update

安装openjdk-8-jdk

  sudo apt-get install openjdk-8-jdk

查看java版本，看看是否安装成功

  java -version

二、安装Zookeeper

可以从 https://zookeeper.apache.org/releases.html 下载ZooKeeper，用户可以自行选择一个速度较快的镜像来下载即可。
下载并解压ZooKeeper软件压缩包后，可以看到zk包含以下的文件和目录：

*bin目录
zk的可执行脚本目录，包括zk服务进程，zk客户端，等脚本。其中，.sh是Linux环境下的脚本，.cmd是Windows环境下的脚本。
*conf目录
配置文件目录。zoo_sample.cfg为样例配置文件，需要修改为自己的名称，一般为zoo.cfg。log4j.properties为日志配置文件。
*lib
zk依赖的包。
*contrib目录
一些用于操作zk的工具包。
*recipes目录
zk某些用法的代码示例

在Linux环境下，进入bin目录，执行命令

  ./zkServer.sh start

三、安装Kafaka

下载地址：https://kafka.apache.org/downloads，ubuntu下可以用wget直接下载

  wget http://mirrors.shuosc.org/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz

解压

  tar -zxvf kafka_2.11-1.0.0.tgz

创建日志存储目录

  cd kafka/
  mkdir logs

进入kafka解压目录，修改kafka-server 的配置文件

  vim config/server.properties

修改配置文件中21、31、36和60行

  broker.id=1
  listeners=PLAINTEXT://:9092
  advertised.listeners=PLAINTEXT://host_ip:9092
  log.dirs=/usr/kafka/logs

四、功能验证

启动Kafka服务，使用 kafka-server-start.sh 启动 kafka 服务

  bin/kafka-server-start.sh config/server.properties

创建topic

  bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看 topic 列表

  bin/kafka-topics.sh --list --zookeeper localhost:2181

产生消息，创建消息生产者

  bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费消息，创建消息消费者

  bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

查看消费情况

  bin/kafka-consumer-groups.sh --describe --bootstrap-server 127.0.0.1:9092 --group test-consumer-group

查看topic消息

  bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

“Leader”: 是负责给定分区的所有读取和写入的节点。 每个节点将成为分区随机选择部分的领导者。
“Replicas”: 是复制此分区日志的节点列表，无论它们是否是领导者，或者即使他们当前处于活动状态。
“Isr”: 是一组“同步”副本。这是复制品列表的子集，当前活着并被引导到领导者。

删除topic

  bin/kafka-topics.sh  --delete --zookeeper localhost:2181 --topic test