kafka安装配置

简介

Apache Kafka是一款开源的分布式流处理平台，最初由LinkedIn开发，并于2011年开源。它是一个高吞吐量、可扩展、持久化的消息发布-订阅系统。Kafka被设计用于处理实时数据流，支持大规模的数据流和实时事件处理。

准备工作

确保你的系统满足以下要求：

• Java 8或更高版本已安装并配置好。
• zookeeper安装配置并启动
• 确保网络连接正常

kafka安装配置

解压安装包

tar -zxvf kafka_2.12-2.4.1.tgz -C /opt/module

配置环境变量

vim /etc/profile

export KAFKA_HOME=/opt/module/kafka_2.12-2.4.1
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

查看kafka的版本

kafka-server-start.sh --version

修改server.properties文件

cd /opt/module/kafka_2.12-2.4.1/config/server.properties

//bigdata1
broker.id=0
zookeeper.connect=bigdata1:2181,bigdata2:2181,bigdata3:2181
 
//bigdata2
broker.id=1
zookeeper.connect=bigdata1:2181,bigdata2:2181,bigdata3:2181
 
//bigdata3
broker.id=2
zookeeper.connect=bigdata1:2181,bigdata2:2181,bigdata3:2181

分发

scp /etc/profile bigdata2:/etc/profile
scp /etc/profile bigdata3:/etc/profile
scp -r /opt/module/kafka_2.12-2.4.1 bigdata2:/opt/module
scp -r /opt/module/kafka_2.12-2.4.1 bigdata3:/opt/module

在bigdata1、bigdata2和bigdata3节点上分别启动Kafka

kafka-server-start.sh -daemon /opt/kafka/config/server.properties

在bigdata1上创建Topic并查看

#创建
kafka-topics.sh --create \
--topic installtopic --partitions 2 \
--replication-factor 2 \
--zookeeper bigdata1:2181,bigdata2:2181,bigdata3:2181
#查看
kafka-topics.sh --list \
--zookeeper bigdata1:2181,bigdata2:2181,bigdata3:2181