摘要: Schema on Write 关系型数据库会定义一个schema后,把数据insert到define的table里 Schema on Read `NoSQL数据库使用的读数据的方法,只有当数据被读入的时候,才会定义数据结构(column),其他时间是un-strcutrued的形态 Schema 阅读全文
posted @ 2017-11-13 16:17 akirajay 阅读(881) 评论(0) 推荐(0) 编辑
摘要: Service Mesh并非新出现的功能。一直以来,Web应用程序需要自己管理复杂的服务间通信,从过去十多年间应用程序的演化就可以看到Service Mesh的影子。 2000年左右的中型Web应用一般使用了三层模型:应用逻辑层、Web服务逻辑层和存储逻辑层。层与层之间的交互虽然也不算简单,但复杂性 阅读全文
posted @ 2017-11-10 14:57 akirajay 阅读(142) 评论(0) 推荐(0) 编辑
摘要: 3.1 数据本地化 SQL On Hadoop 设计的一个基本原则是:将计算任务移动到数据所在的节点而不是反过来。这主要出于网络优化的目的,因为数据分布在不同的节点,如果移动数据那么将会产生大量的低效的网络数据传输。数据本地化一般分为三种:节点局部性 (Node Locality), 机架局部性 ( 阅读全文
posted @ 2017-11-08 13:44 akirajay 阅读(426) 评论(0) 推荐(0) 编辑
摘要: 在计算机网络中,有一个叫做“窄腰”的概念。 这个概念的出现解决了一个关键问题:在任何给定的网络设备上,想象一个堆栈,底层硬件层和顶层软件层。中间可能会存在各种网络硬件;类似地,也存在各种软件和应用程序。需要一种方法来确保无论硬件如何,软件仍然可以连接到网络; 无论软件如何,网络硬件都知道如何处理网络 阅读全文
posted @ 2017-11-08 12:42 akirajay 阅读(492) 评论(0) 推荐(0) 编辑
摘要: 1,用 CPU instruction(指标)来衡量程序使用CPU的情况, CPU instrcution Stable regardless of runtime enviroment Measure via hardware conters on Linux Why do we define e 阅读全文
posted @ 2017-11-07 21:15 akirajay 阅读(218) 评论(0) 推荐(0) 编辑
摘要: KAFKA不是单纯的消息机制,也可以作为可靠的存储介质。 传统的消息队列系统。消息队列有一些不成文的规则,比如“不要在消息队列里保存消息”。传统的消息系统之所以不能用来保存消息,是因为: 消息被读取后就会被删除 伸缩性差 缺乏健壮的复制机制(如果broker崩溃,数据也就丢失了) 实际上,Kafka 阅读全文
posted @ 2017-11-06 23:20 akirajay 阅读(612) 评论(0) 推荐(0) 编辑
摘要: 有空看看这篇文章 http://www.jianshu.com/p/475589f5cd7b 阅读全文
posted @ 2017-11-06 23:08 akirajay 阅读(72) 评论(0) 推荐(0) 编辑
摘要: 拜占庭将军问题(Byzantine Generals Problem),是由莱斯利·兰波特在其同名论文[1]中提出的分布式对等网络通信容错问题。 在分布式计算中,不同的计算机通过通讯交换信息达成共识而按照同一套协作策略行动。但有时候,系统中的成员计算机可能出错而发送错误的信息,用于传递信息的通讯网络 阅读全文
posted @ 2017-11-06 22:46 akirajay 阅读(269) 评论(0) 推荐(0) 编辑
摘要: kafka的producer把topic写入broker的partition时,用的append log的方式,offset唯一标记一条消息。 看来和HBASE写WAL的模式很像 阅读全文
posted @ 2017-11-06 21:48 akirajay 阅读(525) 评论(0) 推荐(0) 编辑