摘要：Hbase是一个分布式的实时数据库，他可以基于hadoop的hdfs，S3等分布式存储系统。而且使用zookeeper来通信（查询元数据和获取数据所在位置等功能） 本文的Hbase使用的是hadoop的hdfs和外部的zookeeper。在这里假设你已经搭建好hadoop和zookeeper。 Hb 阅读全文

摘要：转载请注明出处，谢谢 2017-10-22 17:14:09 之前都是用python开发maprduce程序的，今天试了在windows下通过eclipse java开发，在开发前先搭建开发环境。在此，总结这个过程，希望能够帮助有需要的朋友。 用Hadoop eclipse plugin，可以浏览管 阅读全文

摘要：用户提交 MapReduce 作业后，JobClient 会调用 InputFormat 的 getSplit方法 生成 InputSplit 的信息。 一个 MapReduce 任务可以有多个 Split，其用于分割用户的数据源，根据用户设定的切割大小把数据源切割成 InputSplit元数据和 阅读全文

摘要：版权声明：本文为博主原创文章，未经博主允许不得转载 首先，先引出两点来展开下面的话题。 (1)map阶段的排序是在hash之后，写入磁盘之前进行。排序的两个关键字是partition（分区编号）和key。 (2)map结束后，并不是马上写到磁盘的，而是有个环形缓冲区，数据写到缓冲区中，默认溢出率是8 阅读全文

摘要：原创，转发请注明出处。 MapReduce是hadoop这只大象的核心，Hadoop 中，数据处理核心就是 MapReduce 程序设计模型。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出 阅读全文