深圳私塾

摘要： Spark架构 Spark架构采用了分布式计算中的Master-Slave模型。集群中运行Master进程的节点称为Master，同样，集群中含有Worker进程的节点为Slave。Master负责控制整个集群的运行；Worker节点相当于分布式系统中的计算节点，它接收Master节点指令并返回计算 阅读全文

摘要： 写数据 Hbase使用memstore和storefile存储对表的更新。数据在更新时首先写入hlog和memstore，memstore中的数据是排序的，当memstore累计到一定的阀值时，就会创建一个新的memstore，并将老的memstore添加到flush队列，由单独的线程flush到磁 阅读全文

摘要： Hbase框架介绍 HBase是一个分布式的、面向列的开源数据库。 不同点： l 和一般的关系数据库不同，hbase是一个适合于非结构化数据存储的数据库。 l Hbase是基于列而不是基于行的模式。 在分布式的生产环境中，HBase 需要运行在 HDFS 之上，以 HDFS 作为其基础的存储设施。H 阅读全文

摘要： Elasticsearch的写 Elasticsearch采用多Shard方式，通过配置routing规则将数据分成多个数据子集，每个数据子集提供独立的索引和搜索功能。当写入文档的时候，根据routing规则，将文档发送给特定Shard中建立索引。这样就能实现分布式了。 此外，Elasticsear 阅读全文

摘要： ACID，指数据库事务正确执行的四个基本要素的缩写。包含：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。一个支持事务（Transaction）的数据库，必须要具有这四种特性，否则在事务过程（Transaction pro 阅读全文

摘要： CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得 分布式系统的CAP理论：理论首先把分布式系统中的三个特性进行了如下归纳：● 一致性（C）：在分布式系统中的所 阅读全文

摘要： es服务端是准确知道每个document分布在哪个shard上； search一个比较复杂的执行模式，因为我们不知道那些document会被匹配到，任何一个shard上都有可能，所以一个search请求必须查询一个索引或多个索引里面的所有shard才能完整的查询到我们想要的结果。 找到所有匹配的结果 阅读全文

摘要： es集群里的master node、data node和client node到底是怎么个意思，分别有何特点？ master节点 主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些； 阅读全文

摘要： 最基本的是cat、more和less。 1. 如果你只想看文件的前5行，可以使用head命令，如： head -5 /etc/passwd 2. 如果你想查看文件的后10行，可以使用tail命令，如： tail -10 /etc/passwd 或 tail -n 10 /etc/passwd tai 阅读全文

摘要： HBase简介 是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop 阅读全文