随笔- 1190  评论- 983  文章- 0 

Kafka队列消息和发布订阅消息

1、kafka自动创建主题
在配置文件里指定好kafka的topic之后,调用send方法会自动帮我们创建好topic,只是创建的topic默认是1个副本和1个分区的,这一般不能满足我们的要求,所以我们还需要在kafka的${KAFKA}/config/server.properties里增加或修改以下参数:

num.partitions=3
auto.create.topics.enable=true
default.replication.factor=3

 

之后,kafka自动帮我们创建的主题都会包含3个副本和3个分区。

2、查看主题列表

cd /opt/kafka_2.12-2.5.0/bin/
./kafka-topics.sh --list --zookeeper 172.16.0.2:2181/kafka

注:172.16.0.2:2181/kafka配置可以在server.properties查看

3、删除主题
默认情况下Kafka是不允许删除主题,如果想要删除主题,在kafka的${KAFKA}/config/server.properties里增加以下参数:
delete.topic.enable=true

cd /opt/kafka_2.12-2.5.0/bin/
./kafka-topics.sh --delete --topic mldn-topic --zookeeper 172.16.0.2:2181/kafka

一般而言,对于kafka操作建议在第一次启动之前就做好所有得操作

4、一直强调Kafka是一个发布订阅的消息组件,但是发现即便程序中启动了多个消费端,但是最终也只能够有一个消费者可以接收到发送者发送的内容,因为此时设置的分区只有一个,那么一个只能够表示一对一关系。于是下面创建一个新的主题,该主题设置三个分区:

cd /opt/kafka_2.12-2.5.0/bin/
./kafka-topics.sh --create --zookeeper 172.16.0.2:2181/kafka --replication-factor 1 --partitions 3 --topic mldn-three

假如启动4个消费者,启动1个生产者,此时所设置的消费者数量为3个,同时这三个消费者处于同一个组之中(props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-1") ),所以变为了三个消费者处理一个生产者的操作情况,所有消费者轮流进行处理。

5、如果此时你所设置的消费者的组ID不同,那么该消息将变为主题订阅消息。所有的消费者将取得各自的全部内容。组不同不同消费者接收到的消息数据是相同的。

props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-1");
props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-2");
props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-3");
props.setProperty(ConsumerConfig.GROUP_ID_CONFIG, "group-4");

 

结论:如果现在设置的消费组相同,则表示属于队列消息,队列消息可以容纳的消费者最大为分区数量;
如果设置的消费组不同,则表示主题订阅消息,那么订阅者可以有无数多个。

posted on 2020-06-21 11:20  Ruthless  阅读(224)  评论(0编辑  收藏