摘要： hadoop虽然内置了很多个inputFormat但是，有时候还是不满足我们的一些需求，所以我们需要重写一个类，来实现我们对数据的读取。 public abstract class InputFormat<K, V> { public InputFormat() { } public abstrac 阅读全文

摘要： MapReduce由于最耗时的是落盘与通信，所以采用了自定的Writeable的序列化反序列化（在结构化对象与二进制流之间的转换以便于节点通信：压缩过，使得节点之间带宽占用较少，可以快速读写），在Mapper Reducer里头常用的比如LongWriteable Text等等。我们根据不同的需求， 阅读全文

摘要： Apache Hadoop，一个稳定 可扩展的分布式计算开源软件。尽管Hadoop版本更新快，但大版本仅包括两个（1和2），Hadoop2多出一层资源管理器Yarn提高了资源了利用率。 核心模块： Hadoop Common、HDFS、Hadoop YARN、Hadoop MR Hadoop Com 阅读全文