摘要： （1）建student & student1 表：（hive 托管）create table student(id INT, age INT, name STRING)partitioned by(stat_date STRING) clustered by(id) sorted by(age) ... 阅读全文

摘要： MapFile是排序后的SequenceFile, 这个排序是由开发者来保证的， 不是内存实现.相当于对key作了一个分块索引, 只针对key.缺点1.文件不支持复写操作，不能向已存在的SequenceFile(MapFile)追加存储记录2.当write流不关闭的时候，没有办法构造read流。也就... 阅读全文

摘要： HDFS作为Hadoop中 的一个分布式文件系统，而且是专门为它的MapReduce设计，所以HDFS除了必须满足自己作为分布式文件系统的高可靠性外，还必须为 MapReduce提供高效的读写性能，那么HDFS是如何做到这些的呢？首先，HDFS将每一个文件的数据进行分块存储，同时每一个数据块又保存有... 阅读全文

摘要： http://blog.oddfoo.net/2011/04/17/mapreduce-partition%E5%88%86%E6%9E%90-2/Partition所处的位置Partition位置Partition主要作用就是将map的结果发送到相应的reduce。这就对partition有两个要... 阅读全文

摘要： 一直对书和各种介绍不太满意， 终于看到一篇比较好的了，迅速转载.首先要推荐一下：http://www.alidata.org/archives/1470阿里的大牛在上面的文章中比较详细的介绍了shuffle过程中mapper和reduce的每个过程，强烈推荐先读一下。不过，上文没有写明一些实现的细节... 阅读全文

摘要： import java.io.DataOutput;import java.io.IOException;import java.util.HashMap;import java.util.Map;import org.apache.hadoop.conf.Configuration;import ... 阅读全文

摘要： import java.io.DataOutput;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.a... 阅读全文

摘要： Cloudera提供给客户的服务内容之一就是调整和优化MapReduce job执行性能。MapReduce和HDFS组成一个复杂的分布式系统，并且它们运行着各式各样用户的代码，这样导致没有一个快速有效的规则来实现优化 代码性能的目的。在我看来，调整cluster或job的运行更像一个医生对待病人... 阅读全文

摘要： 转换原始数据为块压缩的SequenceFIleimport org.apache.hadoop.conf.Configuration;import org.apache.hadoop.conf.Configured;import org.apache.hadoop.fs.FileSystem;imp... 阅读全文

摘要： hive 中使用lzo 1 启动hive 错误Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf at java.lang.Class.forName0(Na... 阅读全文