Fork me on GitHub
摘要: 一。前述 上次讲完MapReduce的输入后,这次开始讲MapReduce的输出。注意MapReduce的原语很重要: “相同”的key为一组,调用一次reduce方法,方法内迭代这一组数据进行计算!!!!! 二。代码 继续看MapTask任务。 解析一。构造OutPut对象: 解析1.1 解析源码 阅读全文
posted @ 2018-01-09 22:59 L先生AI课堂 阅读(816) 评论(0) 推荐(0) 编辑
摘要: 从今天开始陆续分享Linux的知识 因为服务器基本是Linux的 所以Linux不学明白 Shell命令不熟 会让你的办事效率大打折扣。 一。Linux文件系统 Linux文件系统是从Unix结构严进过来的。总结一下Linux顶层虚拟目录及其文件内容。 阅读全文
posted @ 2018-01-09 10:31 L先生AI课堂 阅读(186) 评论(0) 推荐(0) 编辑
摘要: 一。前述 上次分析了客户端源码,这次分析mapper源码让大家对hadoop框架有更清晰的认识 二。代码 自定义代码如下: 继承Mapper源码如下: 解析:我们重新了map方法,所以传进run方法中才能不断执行。 MapperTask源码解析: Container封装了一个脚本命令,通过远程调用启 阅读全文
posted @ 2018-01-09 00:59 L先生AI课堂 阅读(699) 评论(0) 推荐(0) 编辑