Zookeeper、Kafka、Flume常用命令

Zookeeper

• 启动ZK服务:

sh bin/zkServer.sh start

• 查看ZK服务状态:

sh bin/zkServer.sh status

• 停止ZK服务:

sh bin/zkServer.sh stop

• 重启ZK服务:

sh bin/zkServer.sh restart

Kafka

• 修改配置文件

vi server.properties

# 内外网访问
listeners=PLAINTEXT://0.0.0.0:9092
advertised.host.name=master
advertised.listeners=PLAINTEXT://192.168.3.89:9092

#broker 的全局唯一编号，不能重复
broker.id=0
#删除 topic 功能使能
delete.topic.enable=true

#处理网络请求的线程数量
num.network.threads=3
#用来处理磁盘 IO 的现成数量
num.io.threads=8
#发送套接字的缓冲区大小
socket.send.buffer.bytes=102400
#接收套接字的缓冲区大小
socket.receive.buffer.bytes=102400
#请求套接字的缓冲区大小
socket.request.max.bytes=104857600

#kafka 运行日志存放的路径
log.dirs=/opt/module/kafka/logs

#topic 在当前 broker 上的分区个数
num.partitions=1
#用来恢复和清理 data 下数据的线程数量
num.recovery.threads.per.data.dir=1
#segment 文件保留的最长时间，超时将被删除
log.retention.hours=168

#配置连接 Zookeeper 集群地址
zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181

• 配置环境变量

sudo vi /etc/profile
#KAFKA_HOME
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin
[root@master opt]# source /etc/profile

• 启动集群

bin/kafka-server-start.sh -daemon config/server.properties

• 关闭集群

bin/kafka-server-stop.sh stop

• 查看当前服务器中的所有 topic

bin/kafka-topics.sh --zookeeper master:2181 --list

• 创建 topic

bin/kafka-topics.sh --zookeeper master:2181 --create --replication-factor 3 --partitions 1 --topic first

选项说明：
--topic 定义 topic 名
--replication-factor 定义副本数
--partitions 定义分区数

• 删除 topic

bin/kafka-topics.sh --zookeeper master:2181 --delete --topic first

需要 server.properties 中设置 delete.topic.enable=true 否则只是标记删除。

• 发送消息

bin/kafka-console-producer.sh --broker-list master:9092 --topic first
>hello world
>atguigu atguigu

• 消费消息

bin/kafka-console-consumer.sh --zookeeper master:2181 --topic first

bin/kafka-console-consumer.sh --bootstrap-server master:9092 --topic first

bin/kafka-console-consumer.sh --bootstrap-server master:9092 --from-beginning --topic first

--from-beginning：会把主题中以往所有的数据都读取出来。

• 查看某个 Topic 的详情

bin/kafka-topics.sh --zookeeper master:2181 --describe --topic first

• 修改分区数

bin/kafka-topics.sh --zookeeper master:2181 --alter --topic first --partitions 6

Flume

Flume 1.9用户手册中文版 (liyifeng.org)

先在flume的conf目录下新建一个文件

vi  netcat-logger.conf

# example.conf: 一个单节点的 Flume 实例配置

# 配置Agent a1各个组件的名称
a1.sources = r1    #Agent a1 的source有一个，叫做r1
a1.sinks = k1      #Agent a1 的sink也有一个，叫做k1
a1.channels = c1   #Agent a1 的channel有一个，叫做c1

# 配置Agent a1的source r1的属性
a1.sources.r1.type = netcat       #使用的是NetCat TCP Source，这里配的是别名，Flume内置的一些组件都是有别名的，没有别名填全限定类名
a1.sources.r1.bind = localhost    #NetCat TCP Source监听的hostname，这个是本机
a1.sources.r1.port = 44444        #监听的端口

# 配置Agent a1的sink k1的属性
a1.sinks.k1.type = logger         # sink使用的是Logger Sink，这个配的也是别名

# 配置Agent a1的channel c1的属性，channel是用来缓冲Event数据的
a1.channels.c1.type = memory                #channel的类型是内存channel，顾名思义这个channel是使用内存来缓冲数据
a1.channels.c1.capacity = 1000              #内存channel的容量大小是1000，注意这个容量不是越大越好，配置越大一旦Flume挂掉丢失的event也就越多
a1.channels.c1.transactionCapacity = 100    #source和sink从内存channel每次事务传输的event数量

# 把source和sink绑定到channel上
a1.sources.r1.channels = c1       #与source r1绑定的channel有一个，叫做c1
a1.sinks.k1.channel = c1          #与sink k1绑定的channel有一个，叫做c1

• 启动agent去采集数据

bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1  -Dflume.root.logger=INFO,console

-c conf 指定flume自身的配置文件所在目录
-f conf/netcat-logger.con 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字
-Dflume.root.logger=INFO,console ：-D 表示 flume 运行时动态修改 flume.root.logger参数属性值，并将控制台日志打印级别设置为 INFO 级别。日志级别包括:log、info、warn、error。