随笔分类 -  KafKa

摘要:为保证producer发送的数据,能可靠的发送到指定的 topic,topic的每个partition收到producer发送的数据后,都需要向producer发送ack(acknowledgement确认收到 ),如果producer收到 ack 就会进行下一轮的发送,否则重新发送数据。 那么何时 阅读全文
posted @ 2020-08-03 08:22 有心有梦 阅读(361) 评论(0) 推荐(0)
摘要:生产者(producer)采用推(push)模式将消息发布到broker,每条消息都被追加(append)到分区(patition)中,属于顺序写磁盘(顺序写磁盘效率比随机写内存要高,保障kafka吞吐率)。消息发送时都被发送到一个topic,其本质就是一个目录,而topic是由一些Partitio 阅读全文
posted @ 2020-08-02 08:55 有心有梦 阅读(416) 评论(0) 推荐(0)
摘要:KafKa的内部工作流程: Kafka 中消息是以topic 进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。topic 是逻辑上的概念,而partition 是物理上的概念(实际存在的),每个partition 对应于一个log 文件,该log 文件中存储的就是producer 阅读全文
posted @ 2020-08-01 10:34 有心有梦 阅读(349) 评论(0) 推荐(0)
摘要:KafKa集群是依赖于zookeeper的,所以想要部署一个分布式的KafKa集群,首先需要搭建一个Zookeeper集群,至于如何搭建zookeeper集群,在我的另一篇博文里已经说过了,这里不再讲述。安装好zookeeper集群以后,部署KafKa集群就简单多了,只需要相应的的Jar包即可。Ja 阅读全文
posted @ 2020-07-31 17:04 有心有梦 阅读(722) 评论(0) 推荐(0)
摘要:KafKa是一个分布式的基于发布/订阅模式的消息队列(Message Queue),“消息队列”是在消息的传输过程中保存消息的容器。消息队列主要包括两种模式: 1、点对点模式 这种模式,对于消费者和消息来说是一对一的,消息的生产者生产消息发送到队列中,然后消息的消费者从队列中取出消息,然后消费,消息 阅读全文
posted @ 2020-07-31 15:56 有心有梦 阅读(247) 评论(0) 推荐(0)