摘要：
KAFKA不是单纯的消息机制，也可以作为可靠的存储介质。 传统的消息队列系统。消息队列有一些不成文的规则，比如“不要在消息队列里保存消息”。传统的消息系统之所以不能用来保存消息，是因为： 消息被读取后就会被删除 伸缩性差 缺乏健壮的复制机制（如果broker崩溃，数据也就丢失了) 实际上，Kafka 阅读全文
posted @ 2017-11-06 23:20
akirajay
阅读(629)
评论(0)
推荐(0)
摘要：
有空看看这篇文章 http://www.jianshu.com/p/475589f5cd7b 阅读全文
posted @ 2017-11-06 23:08
akirajay
阅读(76)
评论(0)
推荐(0)
摘要：
拜占庭将军问题（Byzantine Generals Problem），是由莱斯利·兰波特在其同名论文[1]中提出的分布式对等网络通信容错问题。 在分布式计算中，不同的计算机通过通讯交换信息达成共识而按照同一套协作策略行动。但有时候，系统中的成员计算机可能出错而发送错误的信息，用于传递信息的通讯网络 阅读全文
posted @ 2017-11-06 22:46
akirajay
阅读(304)
评论(0)
推荐(0)
摘要：
kafka的producer把topic写入broker的partition时，用的append log的方式，offset唯一标记一条消息。 看来和HBASE写WAL的模式很像 阅读全文
posted @ 2017-11-06 21:48
akirajay
阅读(539)
评论(0)
推荐(0)
摘要：
HBASE是列指向数据库 文件系统，推荐用HDFS HDFS的特长是sequence read，random read and wright比较弱，用HBASE可以弥足。 HBASE是master型，有一个master节点和N个region节点，为了防止master节点down，用hotstandb 阅读全文
posted @ 2017-11-06 21:17
akirajay
阅读(95)
评论(0)
推荐(0)
浙公网安备 33010602011771号