centos7 kafka安装教程

Apache Kafka 安装与配置教程

Apache Kafka 是一个分布式流处理平台，常用于构建实时数据流管道和应用程序。以下是在 Linux 和 Windows 系统上安装 Kafka 的详细步骤。

1. 环境准备

Kafka 依赖 Java 8+ 和 ZooKeeper（Kafka 3.3+ 版本支持内置 ZooKeeper，但生产环境建议独立部署）。

安装 Java

# Ubuntu/Debian
sudo apt-get update
sudo apt-get install openjdk-11-jdk

# CentOS/RHEL
sudo yum install java-11-openjdk-devel

# 验证安装
java -version  # 应显示版本信息

2. 下载并解压 Kafka

从 Apache Kafka 官网 下载最新稳定版本（如 3.4.0）：

# 下载
wget https://archive.apache.org/dist/kafka/3.4.0/kafka_2.13-3.4.0.tgz

# 解压
tar -xzf kafka_2.13-3.4.0.tgz
cd kafka_2.13-3.4.0

3. 配置 ZooKeeper

Kafka 依赖 ZooKeeper 管理集群元数据。编辑 config/zookeeper.properties：

# 数据存储目录
dataDir=/tmp/zookeeper

# 监听端口
clientPort=2181

# 超时设置
tickTime=2000
initLimit=10
syncLimit=5

4. 配置 Kafka

编辑 config/server.properties，主要修改以下参数：

# 唯一的 broker ID
broker.id=0

# 监听所有网络接口(可以接收来着所有网络电脑发来的请求)
listeners=PLAINTEXT://0.0.0.0:9092

# 对外暴露的地址（必须是客户端能访问的IP或域名）（可以尝试不设置这个，只设置第一个行代码）
advertised.listeners=PLAINTEXT://152.136.59.229:9092

# 日志存储目录
log.dirs=/tmp/kafka-logs

# ZooKeeper 连接地址
zookeeper.connect=localhost:2181

5. 启动服务

步骤 1：启动 ZooKeeper

# 前台启动（开发环境）
bin/zookeeper-server-start.sh config/zookeeper.properties

# 后台启动（生产环境）
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

步骤 2：启动 Kafka Broker

# 前台启动（开发环境）
bin/kafka-server-start.sh config/server.properties

# 后台启动（生产环境）
bin/kafka-server-start.sh -daemon config/server.properties

6. 测试 Kafka

创建主题

bin/kafka-topics.sh --create \
  --bootstrap-server localhost:9092 \
  --replication-factor 1 \
  --partitions 1 \
  --topic test_topic

发送消息

bin/kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test_topic
> Hello, Kafka!
> This is a test message.

消费消息

# 新终端