kafka命令行消费数据命令

1、Kafka实例未开启SASL认证

• 某个时间段内查询有多少条数据：

./kafka-console-consumer.sh --topic {topicName} --bootstrap-server {kafka连接地址} --property print.timestamp=true --from-beginning |awk -F 'CreateTime:|\t' '$2>= 1653527413000 && $2 <= 1653532569000 {print $0}'

可以存入文件中，然后cat filename | wc -l统计数据量

• 统计某个字段数据出现的次数，比如可以统计有相同特性的数据

./kafka-console-consumer.sh --topic {topicName} --bootstrap-server {kafka连接地址} --property print.timestamp=true --from-beginning | grep 字段

可以存入文件中，然后cat filename | wc -l统计数据量

• 查询消费组详情

kafka-consumer-groups.sh --bootstrap-server {kafka连接地址} --describe --group {消费组}

•  删除消费组

kafka-consumer-groups.sh --bootstrap-server {kafka连接地址} --delete --group {消费组}

2、Kafka实例开启SASL认证

•  统计某个字段数据出现的次数，比如可以统计有相同特性的数据
  kafka-console-consumer.sh --bootstrap-server {kafka连接地址} --consumer.config {SASL认证的consumer.properties配置文件} --property security.protocol=SASL_SSL --topic {topicName}|grep 字段

可以存入文件中，然后cat filename | wc -l统计数据量

• 查询消费组详情

kafka-consumer-groups.sh --bootstrap-server    {kafka连接地址}  --describe --group {消费组} --command-config {SASL认证的consumer.properties配置文件}

• 删除消费组

kafka-consumer-groups.sh --bootstrap-server    {kafka连接地址}  --delete --group {消费组} --command-config {SASL认证的consumer.properties配置文件}

说明：

如果Kafka实例开启SASL认证，则需要增加SASL认证的“consumer.properties”配置文件参数： --command-config {SASL认证的consumer.properties配置文件}，“consumer.properties”配置文件参考连接已开启SASL的Kafka实例。

3、删除kafka消费组报错解决：

* Group 'GroupName' could not be deleted due to: NON_EMPTY_GROUP

 我的办法是重启大法。

1. 停止Zookeeper
2. 停止kafka
3. 启动Zookeeper
4. 开始kafka
5. 重新查看消费组详情，返回Consumer group  'GroupName' has no active members.
6. 删除消费组