摘要: 1. 什么是KafkaConsumer? 应用程序使用KafkaConsul'le 「向Kafka 订阅主题,并从订阅的主题上接收消息。Kafka的消息读取不同于从其他消息系统读取数据,它涉及了一些独特的概念和想法。 1.1 消费者和消费者群组 单个的消费者就跟前面的消息系统的消费者一样,创建一个消 阅读全文
posted @ 2018-12-03 23:17 Eternally_dream 阅读(3001) 评论(0) 推荐(0) 编辑
摘要: 1. Kafka的Producer 不论将kafka作为什么样的用途,都少不了的向Broker发送数据或接受数据,Producer就是用于向Kafka发送数据。如下: 2. 添加依赖 pom.xml文件如下: 3. 发送消息 3.1 创建生产者 创建生产者的时候,我们需要为生产者设置一些属性,其中有 阅读全文
posted @ 2018-11-28 23:54 Eternally_dream 阅读(1277) 评论(0) 推荐(0) 编辑
摘要: 1. Pull vs Push Producer主动的通过push将消息发布到Broker上,Consumer通过Pull的的方式从Broker消息消息。 通过Push的方式由于是一有消息就推到Broker,所以极大的保证了消息实时性,但是在某些情况下,可能由于Consumer网络,或是其他原因倒是 阅读全文
posted @ 2018-11-27 22:50 Eternally_dream 阅读(566) 评论(0) 推荐(0) 编辑
摘要: 1. Zookeeper的基本操作 zookeeper中的节点可以持久化/有序的两个维度分为四种类型: PERSIST:持久化无序(保存在磁盘中) PERSIST_SEQUENTIAL:持久化有序递增 EPHEMERAL:非持久化的无序的,保存在内存中,当客户端关闭后消失。 EPHEMERAL_SE 阅读全文
posted @ 2018-11-26 23:33 Eternally_dream 阅读(729) 评论(0) 推荐(0) 编辑
摘要: 1. CAP理论 1.1 Cosistency(一致性) 通过某个节点的写操作结果对后面通过其他节点的读操作可见。 如果更新数据后,并发访问的情况下可立即感知该更新,称为强一致性 如果允许之后部分或全部感知不到该更新,称为弱一致性。 若在之后的一段时间(通常该时间不是固定的)后,一定可以感知到该更新 阅读全文
posted @ 2018-11-21 23:07 Eternally_dream 阅读(2323) 评论(0) 推荐(0) 编辑
摘要: 1. 架构图 一个Kafka集群中包含若干个Broker(消息实例),Kafka支持Broker横向扩展,Broker越多,吞吐量越大,同时也包含了若干个Producer(可以是web前端产生的Page View,或者是服务器日志,系统CPU、Memory等)和若干个Consumer(消费者)以及一 阅读全文
posted @ 2018-11-21 17:22 Eternally_dream 阅读(475) 评论(0) 推荐(1) 编辑
摘要: 1. Kafka简介 Kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性,但是在设计实现上完全不同,此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类,发送消息者成为Pro 阅读全文
posted @ 2018-11-19 22:08 Eternally_dream 阅读(292) 评论(0) 推荐(0) 编辑
摘要: 持久化:将交换机或队列数据保存到磁盘,服务器宕机或重启之后依然存在。 非持久化:将交换机或队列的数据保存到内存中,服务器宕机或重启之后数据将不存在。 在RabbitMQ中也提供了持久化和非持久化方式。 实现方式为将durable设置为false即可。在配置文件中配置交换机或队列时配置durable= 阅读全文
posted @ 2018-11-19 16:38 Eternally_dream 阅读(431) 评论(0) 推荐(0) 编辑
摘要: 在Spring AMQP项目中Spring也提供了对RabbitMQ的支持,这里在之前学习SpringBoot的时候也整合过,但是今天这里使用的Spring的xml配置来整个rabbit. Spring AMQP项目地址:https://spring.io/projects/spring-amqp; 阅读全文
posted @ 2018-11-19 16:23 Eternally_dream 阅读(1029) 评论(0) 推荐(0) 编辑
摘要: 1. fanout模式 1.1 Publish/Subscribe(发布/订阅)结构图 上图表示一个消费者消费消息之后,不讲消息直接存储到队列,而是使用两个消费者各自声明一个队列,将各自的对应的队列与交换机绑定。这样每个消费者都读取的是自身所对应的队列的所有消息,大达到了一个生产者生产消息,所有消费 阅读全文
posted @ 2018-11-16 17:34 Eternally_dream 阅读(273) 评论(0) 推荐(0) 编辑