深圳私塾

摘要： Zookeeper功能简介: ZooKeeper 是一个开源的分布式协调服务，由雅虎创建，是 Google Chubby 的开源实现。分布式应用程序可以基于 ZooKeeper 实现诸如数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master 选举、配置维护，名字服务、分布式同步 阅读全文

摘要： HBase架构简介 HBase在完全分布式环境下，由Master进程负责管理RegionServers集群的负载均衡以及资源分配，ZooKeeper负责集群元数据的维护并且监控集群的状态以防止单点故障，每个RegionServer会负责具体数据块的读写，HBase所有的数据存储在HDSF系统上。 • 阅读全文

摘要： 介绍两种HBase的数据备份或者容灾方案：Snapshot，Replication； 一、Snapshot 开启快照功能，在hbase-site.xml文件中添加如下配置项： <property> <name>hbase.snapshot.enabled</name> <value>true</va 阅读全文

摘要： ES是如何实现节点容灾的？ 1. ES中的index，首先会进行分片，每一个分片数据一般都会有自己的副本数据，ES分配分片的策略会保证同一个分片数据和自己的副本不会分配到同一个节点上2. 当集群中的某一节点宕机后，ES的master在ping该节点时通过一定的策略会发现该节点不存活；此时，ES开启恢 阅读全文

摘要： 最近在讨论一个下载任务；要求文件下载后进行打包，再提供给用户下载； 如何确保打包的线程在所有下载文件的线程执行完成后进行呢？ 看看下面三个兄弟的本事： CountDownLatch、CyclicBarrier和 Semaphore 一.CountDownLatch用法 CountDownLatch类 阅读全文

摘要： curl 'localhost:9200/_cat/health?v' 绿色表示一切正常, 黄色表示所有的数据可用但是部分副本还没有分配,红色表示部分数据因为某些原因不可用. 2.通过如下语句，我们可以获取集群的节点列表： 3。通过如下语句，列出所有索引： 4.创建索引 现在我们创建一个名为“cus 阅读全文

摘要： 每个Elasticsearch节点内部都维护着多个线程池，如index、search、get、bulk等，用户可以修改线程池的类型和大小，线程池默认大小跟CPU逻辑一致 一、查看当前线程组状态 curl -XGET 'http://localhost:9200/_nodes/stats?pretty 阅读全文

摘要： 一、ES-Hadoop导数据的时候报"Could not write all entries"异常 ES-Hadoop是一个开源的数据导入项目，支持数据从hdfs，hive，spark，storm等其它大数据服务中导入ES。 使用的时候经常报："org.elasticsearch.hadoop.Es 阅读全文

摘要： From the answer here, spark.sql.shuffle.partitions configures the number of partitions that are used when shuffling data for joins or aggregations. sp 阅读全文

摘要： Shell中的${}、##和%%使用范例: 代码如下:file=/dir1/dir2/dir3/my.file.txt可以用${ }分别替换得到不同的值：${file#*/}：删掉第一个 / 及其左边的字符串：dir1/dir2/dir3/my.file.txt${file##*/}：删掉最后一个 阅读全文