2014年11月30日
005、Hadoop-MapReduce详解
摘要： 一、Map任务的执行过程读取文件的内容，解析成key、value对，对输入文件的每一行，解析成key、value对。每一个键值对调用一次map函数写自己的逻辑，对输入的key、value处理，转换成新的key、value输出对输出的key,value进行分区对不同分区的数据，按照key进行排序分组，... 阅读全文
posted @ 2014-11-30 23:45 旧收音机 阅读(353) 评论(0) 推荐(0)
004、Hadoop-HDFS分布式文件系统详解
摘要： 官方API链接地址：http://hadoop.apache.org/docs/current/一、什么是HDFS？ HDFS(Hadoop distributed file system):Hadoop上面的通用的分布式文件系统，具有高容错，高吞吐量的特性，同时它也是Hadoop的核心。二、Had... 阅读全文
posted @ 2014-11-30 00:20 旧收音机 阅读(394) 评论(0) 推荐(0)