ETL组件----Kafka

Kafka安装

1.解压文件

tar -zxvf /apps/kafka_2.11-1.0.0.gz -C /opt

2.修改名称

进入opt/目录下：mv kafka_2.11-1.0.0 kafka

3.添加环境变量

、

4.生成环境变量

source /etc/profile

kafka操作

1.进入/opt/kafka/config/下修改server.properties

sudo vim server.properties

添加三个节点：

2.将kafka发送至其他节点并修改权限

scp -r /opt/kafka @slave2:/opt/

scp -r /opt/kafka @slave1:/opt/

进入其他节点修改kafka权限

sudo chown -R cwl02:cwl02 /opt/

3.修改各个节点中server.properties文件

slave1：broker.id=1

slave2：broker.id=2

4.三个节点启动zkServer.sh 并在master启动集群

master：zkServer.sh start

slave1：zkServer.sh start

slave2：zkServer.sh start

master： start-all.sh

5.三个节点启动kafka

/opt/kafka/bin/kafka-server-start.sh /opt/kafka/config/server.properties

6.kafka组件验证

①：因为三个节点都会停在那里打开一个新的master终端进行操作：

/opt/kafka/bin/kafka-topics.sh --create --zookeeper master:2181,slave1:2181,slave2:2181 --replication-factor 2 --topic hello --partitions 1

Create 参数代表创建, zookeeper 参数为 zookeeper 集群的主机名，replication-factor 代表生
成多少个副本文件，topic 为 topic 的名称，partitions 指定多少个分区

②：查看topic是否创建成功：

/opt/kafka/bin/kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181

③：再master节点中创建一个生产者：

使用kafka-console-producer.sh脚本创建

/opt/kafka/bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic hello

创建完成后不要关闭

④：在slave1上创建一个消费者：

在 slave1 中打开一个新终端，使用 kafka-console-consumer.sh 脚本来创建消费者

/opt/kafka/bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --topic hello --from-beginning