Kafka本地单实例安装
下载安装
从国内镜像站点下载并安装Kafka安装包,以下载并安装v3.2.3版本为例。
$ tar -xzf kafka_2.12-3.2.3.tgz
$ cd kafka_2.12-3.2.3
启动服务
如下命令均在Kafka安装目录${KAFKA_HOME}
下执行。
启动ZooKeeper服务:
$ bin/zookeeper-server-start.sh config/zookeeper.properties
启动本地Kafka服务:
$ bin/kafka-server-start.sh config/server.properties
执行操作
查看Topic列表:
$ bin/kafka-topics.sh --bootstrap-server localhost:9092 --list
创建指定名称的Topic:
$ bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092
查看指定Topic信息:
$ bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092
为Topic指定分区数:
# 示例:给topic指定10个分区,默认为1个
$ ./bin/kafka-topics.sh --alter --bootstrap-server localhost:9092 --topic quickstart-events--partitions 10
在控制台往指定Topic写入Kafka消息:
$ bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
This is my first event
This is my second event
这种方式写入Kafka的消息字符个数不能超过最大值4095,否则报错。
如果消息字符个数大于最大值,则可以将消息先按行分隔写入文件,然后再通过Linux管道命令写入Kafka。
$ vim test_kafka_events.txt
This is my first event
This is my second event
$ cat test_kafka_events.txt | bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092
在控制台读取指定Topic中的消息:
$ bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092
This is my first event
This is my second event
查看消费者组详情:
$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group testGroup
查看消费者组列表:
$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list
Kafka相关完整文档详见:https://kafka.apache.org/documentation/ 。
作者:编程随笔
出处:http://www.cnblogs.com/nuccch/
声明:本文版权归作者和博客园共有,欢迎转载,但请在文章页面明显位置给出原文连接。