摘要：GFS是Google在2003年提出的一个分布式文件存储系统，是Google三剑客之一。GFS主要适用于大文件的顺序读取以及追加写。 GFS由一个master和多个chunck server构成。master负责维护文件和块命名空间、文件到块的映射和每个块副本的位置，以及对块租约、chunck se 阅读全文

摘要：当我们对链表等数据结构进行并发读写时，通常会通过读写锁进行保护。但是，每一次对读写锁的操作都必须直接在内存中进行，不能够使用cache，这也就导致了读写锁的效率其实是比较低的。即使是在没有写者的情况下，每一次上读锁仍然需要访问内存。更严重的是如果多个CPU同时执行到CAS指令，每一次CAS指令的执行 阅读全文

摘要：MapReduce是Google在2004年发表的论文《MapReduce: Simplified Data Processing on Large Clusters》中提出的一个用于分布式的用于大规模数据处理的编程模型。 原理 MapReduce将数据的处理分成了两个步骤，Map和Reduce。M 阅读全文

摘要：在Kafka中，发送的消息是字节数组，因此就需要一个方法来将消息对象序列化为字节数组，在消费者端再反序列化为对象。最常用的序列化格式就是JSON了。虽然JSON对人类非常友好，但是对于机器来说，更容易进行序列化和反序列化的格式还是二进制的格式。 Protobuf（Protocol buffers）是 阅读全文

摘要：消息引擎（消息队列）是后端最常用的中间件，其主要功能有解耦、异步、削峰。而Kafka是Apache开发的最常用的消息引擎之一。 安装 直接到Kafka的官网下载二进制包然后解压就行了，Kafka需要Java的运行环境。首先启动Zookeeper作为Kafka的服务协调工具，之后启动Kafka就行了。 阅读全文