rocky_24

2016年3月30日

摘要： hbase源码系列（十二）Get、Scan在服务端是如何处理？ 继上一篇讲了Put和Delete之后，这一篇我们讲Get和Scan, 因为我发现这两个操作几乎是一样的过程，就像之前的Put和Delete一样，上一篇我本来只打算写Put的，结果发现Delete也可以走这个过程，所阅读全文

posted @ 2016-03-30 14:54 rocky_24 阅读(747) 评论(0) 推荐(0)

9 hbase源码系列（九）StoreFile存储格式

摘要： hbase源码系列（九）StoreFile存储格式  从这一章开始要讲Region Server这块的了，但是在讲Region Server这块之前得讲一下StoreFile，否则后面的不好讲下去，这块是基础，Region Sever上面的操作，大部分都是基于它来进行的。 HF 阅读全文

posted @ 2016-03-30 14:53 rocky_24 阅读(494) 评论(0) 推荐(0)

10 hbase源码系列（十）HLog与日志恢复

摘要： hbase源码系列（十）HLog与日志恢复 HLog概述 hbase在写入数据之前会先写入MemStore，成功了再写入HLog，当MemStore的数据丢失的时候，还可以用HLog的数据来进行恢复，下面先看看HLog的图。旧版的HLog是实际上是一个SequceneFile 阅读全文

posted @ 2016-03-30 14:53 rocky_24 阅读(953) 评论(0) 推荐(0)

2016年3月9日

统计 MapReduce 输出路径修改。

摘要：先在上一篇MR 的104 行加入代码。jobConf.setOutputFormat(MyMultipleFilesTextOutputFormat.class); 用意是自定义 job 的输出格式：上一篇 MR 代码： http://www.cnblogs.com/rocky24/p/f7a27b79fa8e5dfdc22fb535cadb86bc.html 1 继... 阅读全文

posted @ 2016-03-09 16:04 rocky_24 阅读(787) 评论(0) 推荐(0)

仿分词统计的MapReduce 程序。

摘要： HDFS 数据格式：举例单条数据：02-26 08:01:56 [qtp512249001-42] INFO async-statistics - class com.spring.aop.StorageManagerStatAspect${"method":"com.systoon.scloud.master.controller.ImageController.download","ip... 阅读全文

posted @ 2016-03-09 15:33 rocky_24 阅读(743) 评论(0) 推荐(0)

2016年3月8日

MapReduce JOB 的输出与输出笔记。

摘要：提高 MapReduce 价值，自定义输入和输出。比如跳过存储到 HDFS 中这个耗时的布置。而只是从原始数据源接受数据，或者直接将数据发送给某些处理程序。这些处理程序在 MapReduce 作业完成后使用这些数据。有时由文件块和输入 split 组成的基础 Hadoop 范式并不能满足需求。此时自定义 InputFormat 和 OutputFormat 。三种处理输入的模式： 1... 阅读全文

posted @ 2016-03-08 18:28 rocky_24 阅读(775) 评论(0) 推荐(0)

2016年3月1日

二 MapReduce 各阶段流程分析

摘要：如果想要将问题变得清晰、精准和优雅，需要关注 MapReduce 作业所需要的系统资源，尤其是集群内部网络资源使用情况。 MR 可以运行在共享集群上处理 TB 级甚至 PB 级的数据。同时，改作业与共享集群的机器上数以百计的任务存在竞争关系。MapReduce 关注点： hadoop MapReduce 作业被分成一系列运行在分布式集群中的 map 任务和 reduce 任务。因此负载是... 阅读全文

posted @ 2016-03-01 18:37 rocky_24 阅读(1298) 评论(0) 推荐(0)

HDFS文件系统上传时序图 PB级文件存储时序图

摘要：自己设计的时序图。来自为知笔记(Wiz) 阅读全文

posted @ 2016-03-01 11:50 rocky_24 阅读(1254) 评论(0) 推荐(0)

HDFS 文件系统流程图。PB级文件存储时序图。

摘要：大小文件通吃，热点hash功能。全局唯一KV索引。百度网盘模式。断点续传功能。MR分析功能。来自为知笔记(Wiz) 阅读全文

posted @ 2016-03-01 11:48 rocky_24 阅读(765) 评论(0) 推荐(0)

HBase 1.1.2 优化插入 Region预分配

摘要：预分Region 与不预分Region 的测试：1 不预分Region： 23~29秒插入100W数据并且蛋疼的是每次都写入一个 RegionServer 且只在一个 Region 相当于人为制造的网络风暴。2 预分Region（3节点分了3个Region）写入 18~19秒 100W 数据。 55555 每秒。（本机网络请求已满。否则应该线性增长）下面是代码... 阅读全文

posted @ 2016-03-01 11:32 rocky_24 阅读(1159) 评论(2) 推荐(1)

愉快的编程，浪浪的写代码~

公告