随笔分类 -  集群

Kafka设计解析(八)- Exactly Once语义与事务机制原理
摘要:本文介绍了Kafka实现事务性的几个阶段——正好一次语义与原子操作。之后详细分析了Kafka事务机制的实现原理,并介绍了Kafka如何处理事务相关的异常情况,如Transaction Coordinator宕机。最后介绍了Kafka的事务机制与PostgreSQL的MVCC以及Zookeeper的原子广播实现事务的异同 阅读全文

posted @ 2017-11-28 21:56 郭俊Jason 阅读(10727) 评论(0) 推荐(2)

Kafka设计解析(四)- Kafka Consumer设计解析
摘要:本文主要介绍了Kafka High Level Consumer,Consumer Group,Consumer Rebalance,Low Level Consumer实现的语义,以及适用场景。以及未来版本中对High Level Consumer的重新设计--使用Consumer Coordinator解决Split Brain和Herd等问题。 阅读全文

posted @ 2016-04-12 21:12 郭俊Jason 阅读(1915) 评论(0) 推荐(3)

Kafka设计解析(三)- Kafka High Availability (下)
摘要:### **【原创声明】本文属作者原创,已授权InfoQ中文站首发,转载请务必在文章开头标明出自“Jason's Blog”,并附上原文链接[http://www.jasongj.com/2015/06/08/KafkaColumn3/](http://www.jasongj.com/2015/06... 阅读全文

posted @ 2015-06-08 21:16 郭俊Jason 阅读(582) 评论(0) 推荐(1)

Kafka设计解析(二)- Kafka High Availability (上)
摘要:Kafka在0.8以前的版本中,并不提供High Availablity机制,一旦一个或多个Broker宕机,则宕机期间其上所有Partition都无法继续提供服务。若该Broker永远不能再恢复,亦或磁盘故障,则其上数据将丢失。而Kafka的设计目标之一即是提供数据持久化,同时对于分布式系统来说,尤其当集群规模上升到一定程度后,一台或者多台机器宕机的可能性大大提高,对于Failover机制的需求非常高。因此,Kafka从0.8开始提供High Availability机制。本文从Data Replication和Leader Election两方面介绍了Kafka的HA机制。 阅读全文

posted @ 2015-04-26 12:12 郭俊Jason 阅读(1080) 评论(0) 推荐(3)

Kafka设计解析(一) Kafka背景及架构介绍
摘要:本文介绍了Kafka的创建背景,设计目标,使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构,Producer消息路由,Consumer Group以及由其实现的不同消息分发方式,Topic & Partition,最后介绍了Kafka Consumer为何使用pull模式以及Kafka提供的三种delivery guarantee。 阅读全文

posted @ 2015-03-29 17:55 郭俊Jason 阅读(2132) 评论(0) 推荐(0)

Kafka深度解析
摘要:介绍Kafka背景,使用消息系统的优势,常用消息系统对比,Kafka架构介绍,Kafka实现语义分析,Replication及Leader Election机制剖析,Consumer Group Rebalance实现原理介绍,以及Benchmark测试。 阅读全文

posted @ 2015-03-28 00:24 郭俊Jason 阅读(1349) 评论(0) 推荐(0)

导航