kafka基础操作

kafkaServer管理

启动单个节点

kafka-server-start.sh -daemon .. /config/server . properties

关闭单个节点

kafka-server-stop.sh

主题管理

创建主题

kafka-topics.sh

创建一个名称为“ kafka-action ”的主题，该主题拥有2 个副本、3个分区

名称	作用
bootstrap-server	用于配置Kafka 集群与ZooKeeper 连接地址，这里并不要
求传递$ { zookeeper.connect ｝配置的所有连接地址
partitions	Kafka 通过分区分配策略，将一个主题的消息分散到多个分区井分别保存到不同的代理上，以此来提高消息处理的吞吐量。
replication-factor	副本会被分布在不同的节点上，副本数不能超过节点数，否则创建主题会失败。例

删除主题

查看主题

修改主题

alter

生产者基本操作

启动生产者

• 参数producer.config，用于加载一个生产者级别相关配置的配置文件，如producer.properties 。
• 参数producer-property ，通过该命令参数可以直接在启动生产者命令行中设置生产者级
  别的配置，在命令行中设置的参数将会覆盖所加载配置文件中的参数设置。
• 参数property ，通过该命令可以设置消息消费者相关的配置。

./kafka-console-producer.sh --broker-list 192.168.131.132:9092 --topic test --property parse.key=true --property key.separator= ' '
key.separator 同时指定启用消息的Key配置， 井指定Key 与消息实际
数据之间以空格作为分隔符。(类似键值对)

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 192.168.131.132:9092 --topic test --time -1
该命令用于查看某个主题各分区对应消息偏移量
time 参数表示查看在指定时间之前的数据，支持－ 1 Cl atest ）、－ 2 ( earliest ） 两个时间选项，默认取值为一l 。
共3 列， 分别表示主题名、分区编号、消息偏移量

创建主题

，若开启了自动创建主题配置项auto . create.topics.enable『rue ， 当生产者向
一个还不存在的主题发送消息时， Kafka 会自动创建该主题。

查看消息

./kafka-run-class.sh kafka.tools.DumpLogSegments --files /home/postgres/kafka/data/kafka-logs/00000000000000000000.log

生产者性能测试工具

向一个名为“ producer-perιtest ”的主题发送100 万条消息，每条消息大小为1000
字节，同时ac ks 设置为all ，对应的acks 值为一l ，测试Kafka 生产消息的性能执行命令如下：

producer-perf-test --throughput 1000000 --p roducer-propsbootstrap.servers=server-1:9092 , server - 2:9092 ,server-3:9092 acks=all```

![](https://img2023.cnblogs.com/blog/3055442/202212/3055442-20221221164926822-377535526.png)


#消费者基本操作
./kafka-console consumer . sh -bootstrap-server server-1 : 9092 , server-2:9092,
server-3 : 9092 new consumer --consumer-property group . id=new-consumer-test
--c onsumer property client.id=new- consumer- cl --topic kafka-action
执行该脚本关键参数是bootstrap咽rver ， 因为以这种方式连接Kafka 时才会调用新版本的
Kafka Consumer ， 若通过参数zookeeper 方式启动则调用的是老版本的消费者。同时可以通过
new-consumer 参数直接指定调用新版本的消费者，若以参数bootstrap咽凹er 方式启动，则默认
调用的是新版消费者，此时可以不用设置new-consumer 参数。以上启动消费者的命令通过参数
consumer-property 设置group.id 为new-consumer-test