随笔分类 -  hadoop

关注hadoop相关技术
(转)对mapreduce代码进行单元测试
摘要：（转）对mapreduce代码进行单元测试http://abloz.comhadoop自带一个wordcount的示例代码，用于计算单词个数。我将其单独移出来，测试成功。源码如下：package org.apache.hadoop.examples;import java.io.IOExceptio... 阅读全文

posted @ 2014-09-02 16:35 Ryan_Y 阅读(316) 评论(0) 推荐(0)

【转载】hadoop 一个Job多个MAP与REDUCE的执行
摘要：转载自：http://blog.csdn.net/chaoping315/article/details/6221440在hadoop 中一个Job中可以按顺序运行多个mapper对数据进行前期的处理，再进行reduce，经reduce后的结果可经个经多个按顺序执行的mapper进行后期的处理，这样... 阅读全文

posted @ 2014-04-04 17:58 Ryan_Y 阅读(377) 评论(0) 推荐(0)

hadoop2.2.0 版本编译64位native库的问题
摘要：参考文章：http://www.micmiu.com/bigdata/hadoop/hadoop-build-native-library-on-mac-os-x/http://blog.sina.com.cn/s/blog_6baac06c0101gvxr.html头疼的问题release-2.2... 阅读全文

posted @ 2014-04-01 19:52 Ryan_Y 阅读(561) 评论(0) 推荐(0)