2019年5月7日

[HBase]region compaction流程

摘要: 阅读全文

posted @ 2019-05-07 17:11 xf-xrh-xf 阅读(147) 评论(0) 推荐(0) 编辑

2019年4月15日

[HBase]region split流程

摘要: 1. 简介 HBase 的最小管理单位为region,region会按照region 分裂策略进行分裂。 基于CDH5.4.2 2. 总览 阅读全文

posted @ 2019-04-15 14:58 xf-xrh-xf 阅读(280) 评论(0) 推荐(0) 编辑

2019年4月2日

[HBase]mem store flusher 流程

摘要: 阅读全文

posted @ 2019-04-02 16:02 xf-xrh-xf 阅读(122) 评论(0) 推荐(0) 编辑

2018年12月12日

[HBase] 服务端RPC机制及代码梳理

摘要: 基于版本:CDH5.4.2 上述版本较老,但是目前生产上是使用这个版本,所以以此为例。 1. 概要 说明: 客户端API发送的请求将会被RPCServer的Listener线程监听到。 Listener线程将分配Reader给到此Channel用户后续请求的相应。 Reader线程将请求包装成Cal 阅读全文

posted @ 2018-12-12 15:14 xf-xrh-xf 阅读(1760) 评论(0) 推荐(0) 编辑

2018年6月19日

spark技术总结(1)

摘要: 1. 请描述spark RDD原理与特征 RDD为Resilient Distributed Datasets缩写,译文弹性分布式数据集。 他是spark系统中的核心数据模型之一,另外一个是DAG模型。 它是“只读”,“分区”的数据集合。其类内部有5个部分组成: 1. 一组partition par 阅读全文

posted @ 2018-06-19 17:21 xf-xrh-xf 阅读(377) 评论(0) 推荐(0) 编辑

2018年3月28日

Apache HBase Performance Tuning 官文总结

摘要: Apache HBase Performance Tuning RAM, RAM, RAM. 不要让HBase饿死. 请使用64位的平台 必须将swapping设定为0 使用本地硬件来完成hdfs的checksumming计算,见:https://blogs.apache.org/hbase/ent 阅读全文

posted @ 2018-03-28 16:53 xf-xrh-xf 阅读(462) 评论(0) 推荐(0) 编辑

2017年12月15日

Spark RDD 窄依赖研究

摘要: 1.. 简介 spark从RDD依赖上来说分为窄依赖和宽依赖。 其中可以这样区分是哪种依赖:当父RDD的一个partition被子RDD的多个partitions引用到的时候则说明是宽依赖,否则为窄依赖。 宽依赖会触发shuffe,宽依赖也是一个job钟不同stage的分界线。 本篇文章主要讨论一下 阅读全文

posted @ 2017-12-15 15:23 xf-xrh-xf 阅读(281) 评论(0) 推荐(0) 编辑

2017年12月4日

使用IDEA进行打包

摘要: 使用IDEA打jar包: 1. 阅读全文

posted @ 2017-12-04 10:39 xf-xrh-xf 阅读(153) 评论(0) 推荐(0) 编辑

2017年4月20日

[how to]HBase Snapshots原理与使用

摘要: 1.简介 Snapshots即快照的意思,作用于表上。在对于表做快照的时候不会造成文件的拷贝,如不会对HFile文件进行拷贝而是以链接的方式链接到元表的HFile上。可以说它是一种元数据的集合,可以快速的恢复到表至快照指定的状态从而迅速的数据修复(会丢失快照之后的数据)如用户误删除表等操作中恢复。也 阅读全文

posted @ 2017-04-20 14:35 xf-xrh-xf 阅读(867) 评论(0) 推荐(0) 编辑

2017年4月10日

Mysql安装

摘要: https://www.linode.com/docs/databases/mysql/how-to-install-mysql-on-centos-6 http://chen3888015.blog.51cto.com/2693016/986841 阅读全文

posted @ 2017-04-10 14:09 xf-xrh-xf 阅读(151) 评论(0) 推荐(0) 编辑

导航