随笔分类 - kafka

Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。

摘要：一、为什么需要消息系统 1.解耦：允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.冗余：消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的阅读全文

posted @ 2017-06-05 09:53 Mason.Ke 阅读(205) 评论(1) 推荐(1)

使用java创建kafka的生产者和消费者

摘要：创建一个Kafka的主题，连接到zk集群，副本因子3，分区3，主题名是test111 [root@h5 kafka]# bin/kafka-topics.sh --create --zookeeper h5:2181 --topic test111 --replication-factor 3 -- 阅读全文

posted @ 2017-04-12 20:04 Mason.Ke 阅读(701) 评论(0) 推荐(0)

KafKa入门

摘要：一、Kafaka 介绍 Apache Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。 Kafka 是一种快速、可扩展的、设计内在就是分布式的，分区的和可复制的提交日志服务 Kafka 是一个消息系统，原本开发自 Li 阅读全文

posted @ 2017-04-12 19:43 Mason.Ke 阅读(223) 评论(0) 推荐(0)

kafka入门：简介、使用场景、设计原理、主要配置及集群搭建（转）

摘要：问题导读： 1.zookeeper在kafka的作用是什么？ 2.kafka中几乎不允许对消息进行“随机读写”的原因是什么？ 3.kafka集群consumer和producer状态信息是如何保存的？ 4.partitions设计的目的的根本原因是什么？一、入门 1、简介 Kafka is a d 阅读全文

posted @ 2017-04-12 17:26 Mason.Ke 阅读(128) 评论(0) 推荐(0)

随笔分类 - kafka

公告