11 2018 档案

[Hbase]Hbase章２　Hbase读写过程解析
摘要：写数据 Hbase使用memstore和storefile存储对表的更新。数据在更新时首先写入hlog和memstore，memstore中的数据是排序的，当memstore累计到一定的阀值时，就会创建一个新的memstore，并将老的memstore添加到flush队列，由单独的线程flush到磁 阅读全文

posted @ 2018-11-23 14:53 深圳私塾 阅读(256) 评论(0) 推荐(0)

[Hbase]Hbase章１　Hbase框架及基本概念
摘要：Hbase框架介绍 HBase是一个分布式的、面向列的开源数据库。 不同点： l 和一般的关系数据库不同，hbase是一个适合于非结构化数据存储的数据库。 l Hbase是基于列而不是基于行的模式。 在分布式的生产环境中，HBase 需要运行在 HDFS 之上，以 HDFS 作为其基础的存储设施。H 阅读全文

posted @ 2018-11-23 14:48 深圳私塾 阅读(261) 评论(0) 推荐(0)

[ES]elasticsearch章3　ES写入过程解析
摘要：Elasticsearch的写 Elasticsearch采用多Shard方式，通过配置routing规则将数据分成多个数据子集，每个数据子集提供独立的索引和搜索功能。当写入文档的时候，根据routing规则，将文档发送给特定Shard中建立索引。这样就能实现分布式了。 此外，Elasticsear 阅读全文

posted @ 2018-11-23 14:31 深圳私塾 阅读(605) 评论(0) 推荐(0)

[规则原则定理]规则原则定理章２ACID原则
摘要：ACID，指数据库事务正确执行的四个基本要素的缩写。包含：原子性（Atomicity）、一致性（Consistency）、隔离性（Isolation）、持久性（Durability）。一个支持事务（Transaction）的数据库，必须要具有这四种特性，否则在事务过程（Transaction pro 阅读全文

posted @ 2018-11-23 13:57 深圳私塾 阅读(293) 评论(0) 推荐(0)

[规则原则定理]规则原则定理章１CAP原则
摘要：CAP原则又称CAP定理，指的是在一个分布式系统中，Consistency（一致性）、 Availability（可用性）、Partition tolerance（分区容错性），三者不可兼得 分布式系统的CAP理论：理论首先把分布式系统中的三个特性进行了如下归纳：● 一致性（C）：在分布式系统中的所 阅读全文

posted @ 2018-11-23 13:53 深圳私塾 阅读(251) 评论(0) 推荐(0)

[ES]elasticsearch章2　ES查询过程解析
摘要：es服务端是准确知道每个document分布在哪个shard上； search一个比较复杂的执行模式，因为我们不知道那些document会被匹配到，任何一个shard上都有可能，所以一个search请求必须查询一个索引或多个索引里面的所有shard才能完整的查询到我们想要的结果。 找到所有匹配的结果 阅读全文

posted @ 2018-11-22 17:43 深圳私塾 阅读(1975) 评论(0) 推荐(0)

[ES]elasticsearch章１　ES各角色的分工
摘要：es集群里的master node、data node和client node到底是怎么个意思，分别有何特点？ master节点 主要功能是维护元数据，管理集群各个节点的状态，数据的导入和查询都不会走master节点，所以master节点的压力相对较小，因此master节点的内存分配也可以相对少些； 阅读全文

posted @ 2018-11-22 17:17 深圳私塾 阅读(645) 评论(0) 推荐(1)

[linux]Linux如何查看文件中的中间部分内容
摘要：最基本的是cat、more和less。 1. 如果你只想看文件的前5行，可以使用head命令，如： head -5 /etc/passwd 2. 如果你想查看文件的后10行，可以使用tail命令，如： tail -10 /etc/passwd 或 tail -n 10 /etc/passwd tai 阅读全文

posted @ 2018-11-15 14:00 深圳私塾 阅读(3551) 评论(0) 推荐(0)

[Hbase]Hbase知识大全
摘要：HBase简介 是一个构建在HDFS上的分布式列存储系统；HBase是基于Google BigTable模型开发的，典型的key/value系统；HBase是Apache Hadoop生态系统中的重要一员，主要用于海量结构化数据存储；从逻辑上讲，HBase将数据按照表、行和列进行存储。与hadoop 阅读全文

posted @ 2018-11-09 14:45 深圳私塾 阅读(151) 评论(0) 推荐(0)

[ ZooKeeper]ZooKeeper 的功能和原理
摘要：Zookeeper功能简介: ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、配置维护，名字服务、分布式同步 阅读全文

posted @ 2018-11-08 17:40 深圳私塾 阅读(170) 评论(0) 推荐(0)

[Hbase]Hbase技术方案
摘要：HBase架构简介 HBase在完全分布式环境下，由Master进程负责管理RegionServers集群的负载均衡以及资源分配，ZooKeeper负责集群元数据的维护并且监控集群的状态以防止单点故障，每个RegionServer会负责具体数据块的读写，HBase所有的数据存储在HDSF系统上。 • 阅读全文

posted @ 2018-11-08 14:57 深圳私塾 阅读(321) 评论(0) 推荐(0)

[Hbase]Hbase容灾方案
摘要：介绍两种HBase的数据备份或者容灾方案：Snapshot，Replication； 一、Snapshot 开启快照功能，在hbase-site.xml文件中添加如下配置项： <property> <name>hbase.snapshot.enabled</name> <value>true</va 阅读全文

posted @ 2018-11-08 14:35 深圳私塾 阅读(330) 评论(0) 推荐(0)

[ES]ES集群内容灾
摘要：ES是如何实现节点容灾的？ 1. ES中的index，首先会进行分片，每一个分片数据一般都会有自己的副本数据，ES分配分片的策略会保证同一个分片数据和自己的副本不会分配到同一个节点上2. 当集群中的某一节点宕机后，ES的master在ping该节点时通过一定的策略会发现该节点不存活；此时，ES开启恢 阅读全文

posted @ 2018-11-08 14:18 深圳私塾 阅读(167) 评论(0) 推荐(0)

[JAVA]多线程下如何确定执行顺序性
摘要：最近在讨论一个下载任务；要求文件下载后进行打包，再提供给用户下载； 如何确保打包的线程在所有下载文件的线程执行完成后进行呢？ 看看下面三个兄弟的本事： CountDownLatch、CyclicBarrier和 Semaphore 一.CountDownLatch用法 CountDownLatch类 阅读全文

posted @ 2018-11-02 14:34 深圳私塾 阅读(981) 评论(0) 推荐(0)

导航