摘要: 使用python语言进行MapReduce程序开发主要分为两个步骤,一是编写程序,二是用Hadoop Streaming命令提交任务。 还是以词频统计为例 一、程序开发1、Mapper 2、Reducer .... 写完发现其实只用map就可以处理了...reduce只用cat就好了 3、运行脚本 阅读全文
posted @ 2016-08-08 14:06 李闹闹童鞋 阅读(8756) 评论(2) 推荐(1) 编辑
摘要: Java版本程序开发过程主要包含三个步骤,一是map、reduce程序开发;第二是将程序编译成JAR包;第三使用Hadoop jar命令进行任务提交。 下面拿一个具体的例子进行说明,一个简单的词频统计,输入数据是一个单词文本,输出每个单词的出现个数。 一、MapReduce程序 标准的MapRedu 阅读全文
posted @ 2016-08-08 12:59 李闹闹童鞋 阅读(935) 评论(0) 推荐(0) 编辑