随笔分类 - java分布式 / Kafka
摘要:深入理解Kafka的Broker Kafka是一种高吞吐量的分布式发布订阅消息系统,它从设计原理方面进行了详尽的考虑,主要表现在以下几个方面。 高吞吐量,支持大量数据的事件流。 支持消息数据的可靠传送,能够处理积压的大量数据 支持低延迟的消息传递。 支持系统的自动容错。 通过 Topic的分区,支持
阅读全文
摘要:Kafka的消费者 Kafka采用消费者组的方式来消费消息,一个消费者组中可以包含多个消费者。消费者对象订阅主题并接收Kafka的消息,然后验证消息并保存结果。尽管一个消费者组中可以包含多个消费者,但是它们订阅的都是同一个主题的消息。 1. 消费模式 当生产者将消息发送到Kafka集群后,会转发给消
阅读全文
摘要:Kafka的生产者 1. 生产者的执行流程 生产者客户端由两个线程协调运行,这两个线程分别为主线程和Sender线程(发送线程),其中, 在主线程中由KafkaProducer创建消息,然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器(RecordAccumulator,也称消息收集
阅读全文

浙公网安备 33010602011771号