2017年3月30日
Hadoop自定义类型处理手机上网日志
摘要： job提交源码分析 在eclipse中的写的代码如何提交作业到JobTracker中的哪？(1)在eclipse中调用的job.waitForCompletion(true)实际上执行如下方法 connect(); info = jobClient.submitJobInternal(conf); 阅读全文
posted @ 2017-03-30 23:19 ahu-lichang 阅读(680) 评论(0) 推荐(0)
MapReduce的原理及执行过程
摘要： MapReduce简介 MapReduce执行流程 MapReduce原理 MapReduce的执行步骤： 1、Map任务处理 1.1 读取HDFS中的文件。每一行解析成一个<k,v>。每一个键值对调用一次map函数。 <0,hello you> <10,hello me> 1.2 覆盖map()， 阅读全文
posted @ 2017-03-30 11:20 ahu-lichang 阅读(114083) 评论(4) 推荐(7)