Kafka 命令

##主题（Topic）
#创建 Topic
kafka-topics --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic my-topic


#查看 Topic 列表
kafka-topics --list --zookeeper localhost:2181


#添加 Partition
kafka-topics --zookeeper localhost:2181 --alter --topic my-topic --partitions 16


#删除 Topic
kafka-topics --zookeeper localhost:2181 --delete --topic my-topic


#查看 Topic 详细信息
kafka-topics --zookeeper localhost:2181/kafka-cluster --describe


#查看备份分区
kafka-topics --zookeeper localhost:2181/kafka-cluster --describe --under-replicated-partitions



##生产者（Producers）
#通过控制台输入生产消息
kafka-console-producer --broker-list localhost:9092 --topic my-topic


#通过文件输入生产消息
kafka-console-producer --broker-list localhost:9092 --topic test < messages.txt


#通过控制台输入 Avro 生产消息
kafka-avro-console-producer --broker-list localhost:9092 --topic my.Topic --property value.schema='{"type":"record","name":"myrecord","fields":[{"name":"f1","type":"string"}]}' --property schema.registry.url=http://localhost:8081

然后，可以选择输入部分 json key：
{ "f1": "value1" }


#生成消息性能测试
kafka-producer-perf-test --topic position-reports --throughput 10000 --record-size 300 --num-records 20000 --producer-props bootstrap.servers="localhost:9092"


##消费者（Consumers）
#消费所有未消费的消息
kafka-console-consumer --bootstrap-server localhost:9092 --topic my-topic --from-beginning


#消费一条消息
kafka-console-consumer --bootstrap-server localhost:9092 --topic my-topic  --max-messages 1


#从指定的 offset 消费一条消息
从指定的 offset __consumer_offsets 消费一条消息：
kafka-console-consumer --bootstrap-server localhost:9092 --topic __consumer_offsets --formatter 'kafka.coordinator.GroupMetadataManager$OffsetsMessageFormatter' --max-messages 1


#从指定 Group 消费消息
kafka-console-consumer --topic my-topic --new-consumer --bootstrap-server localhost:9092 --consumer-property group.id=my-group


#消费 avro 消息
kafka-avro-console-consumer --topic position-reports --new-consumer --bootstrap-server localhost:9092 --from-beginning --property schema.registry.url=localhost:8081 --max-messages 10
kafka-avro-console-consumer --topic position-reports --new-consumer --bootstrap-server localhost:9092 --from-beginning --property schema.registry.url=localhost:8081


#查看消费者 Group 列表
kafka-consumer-groups --new-consumer --list --bootstrap-server localhost:9092


#查看消费者 Group 详细信息
kafka-consumer-groups --bootstrap-server localhost:9092 --describe --group testgroup



##配置（Config）
#设置 Topic 的保留时间
kafka-configs --zookeeper localhost:2181 --alter --entity-type topics --entity-name my-topic --add-config retention.ms=3600000


#查看 Topic 的所有配置
kafka-configs --zookeeper localhost:2181 --describe --entity-type topics --entity-name my-topic


#修改 Topic 的配置
kafka-configs --zookeeper localhost:2181 --alter --entity-type topics --entity-name my-topic --delete-config retention.ms


##ACL
#查看指定 Topic 的 ACL
kafka-acls --authorizer-properties zookeeper.connect=localhost:2181 --list --topic topicA


#添加 ACL
kafka-acls --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:Bob --consumer --topic topicA --group groupA
kafka-acls --authorizer-properties zookeeper.connect=localhost:2181 --add --allow-principal User:Bob --producer --topic topicA



##ZooKeeper
zookeeper-shell localhost:2182 ls /