摘要: hbase源码系列(十二)Get、Scan在服务端是如何处理?<!--more--> 继上一篇讲了Put和Delete之后,这一篇我们讲Get和Scan, 因为我发现这两个操作几乎是一样的过程,就像之前的Put和Delete一样,上一篇我本来只打算写Put的,结果发现Delete也可以走这个过程,所 阅读全文
posted @ 2016-03-30 14:54 rocky_24 阅读(695) 评论(0) 推荐(0) 编辑
摘要: hbase源码系列(九)StoreFile存储格式 <!--more--> 从这一章开始要讲Region Server这块的了,但是在讲Region Server这块之前得讲一下StoreFile,否则后面的不好讲下去,这块是基础,Region Sever上面的操作,大部分都是基于它来进行的。 HF 阅读全文
posted @ 2016-03-30 14:53 rocky_24 阅读(438) 评论(0) 推荐(0) 编辑
摘要: hbase源码系列(十)HLog与日志恢复<!--more--> HLog概述 hbase在写入数据之前会先写入MemStore,成功了再写入HLog,当MemStore的数据丢失的时候,还可以用HLog的数据来进行恢复,下面先看看HLog的图。 旧版的HLog是实际上是一个SequceneFile 阅读全文
posted @ 2016-03-30 14:53 rocky_24 阅读(903) 评论(0) 推荐(0) 编辑
摘要: 先在上一篇MR 的104 行加入代码。jobConf.setOutputFormat(MyMultipleFilesTextOutputFormat.class); 用意是自定义 job 的输出格式: 上一篇 MR 代码: http://www.cnblogs.com/rocky24/p/f7a27b79fa8e5dfdc22fb535cadb86bc.html 1 继... 阅读全文
posted @ 2016-03-09 16:04 rocky_24 阅读(776) 评论(0) 推荐(0) 编辑
摘要: HDFS 数据格式 : 举例单条数据:02-26 08:01:56 [qtp512249001-42] INFO async-statistics - class com.spring.aop.StorageManagerStatAspect${"method":"com.systoon.scloud.master.controller.ImageController.download","ip... 阅读全文
posted @ 2016-03-09 15:33 rocky_24 阅读(739) 评论(0) 推荐(0) 编辑
摘要: 提高 MapReduce 价值,自定义输入和输出。比如跳过存储到 HDFS 中这个耗时的布置。 而只是从原始数据源接受数据,或者直接将数据发送给某些处理程序。 这些处理程序在 MapReduce 作业完成后使用这些数据。 有时由文件块和输入 split 组成的基础 Hadoop 范式并不能满足需求。 此时自定义 InputFormat 和 OutputFormat 。三种处理输入的模式: 1... 阅读全文
posted @ 2016-03-08 18:28 rocky_24 阅读(755) 评论(0) 推荐(0) 编辑
摘要: 如果想要将问题变得清晰、精准和优雅, 需要关注 MapReduce 作业所需要的系统资源,尤其是集群内部网络资源使用情况。 MR 可以运行在共享集群上处理 TB 级 甚至 PB 级的数据。同时,改作业与共享集群的机器上数以百计的任务存在竞争关系。MapReduce 关注点: hadoop MapReduce 作业被分成一系列运行在分布式集群中的 map 任务和 reduce 任务。因此负载是... 阅读全文
posted @ 2016-03-01 18:37 rocky_24 阅读(1255) 评论(0) 推荐(0) 编辑
摘要: 自己设计的时序图。来自为知笔记(Wiz) 阅读全文
posted @ 2016-03-01 11:50 rocky_24 阅读(1228) 评论(0) 推荐(0) 编辑
摘要: 大小文件通吃, 热点hash功能。 全局唯一KV索引。 百度网盘模式。断点续传功能。MR分析功能。来自为知笔记(Wiz) 阅读全文
posted @ 2016-03-01 11:48 rocky_24 阅读(755) 评论(0) 推荐(0) 编辑
摘要: 预分Region 与 不预分Region 的测试:1 不预分Region: 23~29秒插入100W数据 并且蛋疼的是每次都写入一个 RegionServer 且 只在一个 Region 相当于人为制造的网络风暴。2 预分Region(3节点分了3个Region) 写入 18~19秒 100W 数据。 55555 每秒。(本机网络请求已满。否则应该线性增长)下面是代码... 阅读全文
posted @ 2016-03-01 11:32 rocky_24 阅读(1144) 评论(2) 推荐(1) 编辑
希望祖国繁荣,富强! God has given me a gift. Only one. I am the most complete fighter in the world. My whole life, I have trained. I must prove I am worthy of someting. rocky_24