随笔分类 -  Kafka

Kafka性能之道
摘要：Kafka高性能之道 高效使用磁盘 零拷贝 批处理和压缩 Partition ISR 高效使用磁盘 》顺序写cipan 》Append Only（数据不更新，无记录级的数据删除，只会整个segment删除） 》充分利用Page Cache 》支持多Directory（可使用多Drive） 零拷贝 》 阅读全文
posted @ 2017-08-30 17:00 一寂知千秋 阅读(253) 评论(0) 推荐(0)
Kafka Strem
摘要：Overview Concepts Topology Time States Window Hopping time windows Tumbling time windows Sliding windows Join API Low-Level Processor API High-Level D 阅读全文
posted @ 2017-08-29 16:30 一寂知千秋 阅读(501) 评论(0) 推荐(0)
New API
摘要：New API Producer 》增加发送回调 》重构Partition 统一High Level API与Low Level API 》从kafka.consumer和kafka.javaapi到kafka.clients.consumer(Kafka将所有的相关类都放在这个包中) 》subsc 阅读全文
posted @ 2017-08-29 16:29 一寂知千秋 阅读(392) 评论(0) 推荐(0)
Kafka Consumer
摘要：Consumer High Level Consumer 简要：很多应用场景下，客户程序知识希望从Kafka顺序读取并处理数据，并不太关心具体的offset。 同时也希望提供一些语义，例如同一条消息只被一个Consumer消费（单播）或被所有Consumer消费（广播）。 Kafka High Le 阅读全文
posted @ 2017-08-25 16:41 一寂知千秋 阅读(554) 评论(0) 推荐(0)
Leader Election
摘要：Leader Election Zookeeper的基本操作 Zookeeper虽然是分布式系统，但它并不是为文件存储而设计的，Zookeeper里存储的一般是配置信息和源信息。实际上，Zookeeper在每个节点上存储大小都在1M一下（通常是远小于1M） 基于Zookeeper的Leader El 阅读全文
posted @ 2017-08-23 21:24 一寂知千秋 阅读(257) 评论(0) 推荐(0)
Kafka与Zookeeper
摘要：Zookeeper Zookeeper是一个高性能分布式应用协调服务 》Naming Service 》配置管理 》Leader Election 》服务发现 》同步 》Group Service 》Barrier 》分布式队列(其实zookeeper并不适合作为分布式队列，性能不高只不过在特定场合 阅读全文
posted @ 2017-08-20 17:44 一寂知千秋 阅读(16115) 评论(0) 推荐(0)
Kafka数据辅助和Failover
摘要：数据辅助与Failover CAP理论（它具有一致性、可用性、分区容忍性） CAP理论：分布式系统中，一致性、可用性、分区容忍性最多只可同时满足两个。一般分区容忍性都要求有保障，因此很多时候在可用性与一致性之间做权衡。 一致性方案 1.Master-slave 》RDBMS的读写分离即为典型的Mas 阅读全文
posted @ 2017-08-19 16:42 一寂知千秋 阅读(524) 评论(0) 推荐(0)
Kafka架构
摘要：Kafka架构 1.Kafka消息系统一般包括三个部分：Producer（发布者）、Broker（Kafka Server）、Consumer（消费者/订阅者），并辅以Zookeeper来协调。 2.Consumer通过pull来想Broker拉去数据，这样的好处就是Broker设计简单，不需要感知 阅读全文
posted @ 2017-08-18 18:04 一寂知千秋 阅读(335) 评论(0) 推荐(0)
Kafka简介
摘要：Kafka简介 消息系统分类： 1.Peer-to-Peer 它仅支持单播发送，一条消息只能被一个消费者消费 2.发布/订阅系统 它支持单播、多播发送，一条消息能被多个消费者消费（kafka） 常用消息系统对比： RabbitMQ：重量级消息系统 Redis：基于Key-Value对的NoSQL数据 阅读全文
posted @ 2017-08-18 17:57 一寂知千秋 阅读(240) 评论(0) 推荐(0)