2016年5月29日
运用MRUnit测试mapper和reducer
摘要： MRUnit可以花费时间少，并且可以分别测试mapper和reducer 步骤： 1、 运用MRUnit测试mapper和reducer 2、 执行mapreduce代码的本地化测试 3、 使用hadoop日志 4、 通过计数器跟踪执行指标 Testing Mapper的过程 1、 实例化mapdi 阅读全文
posted @ 2016-05-29 15:13 草莓干123456 阅读(453) 评论(0) 推荐(0)
java程序，用于mapreduce处理数据
摘要： 1、通过传统的key-value类分析数据 创建key类时，所有key都要继承writablecomparable接口 public class sendorkey implements writablecomparable { default constructor+parameterized c 阅读全文
posted @ 2016-05-29 14:53 草莓干123456 阅读(241) 评论(0) 推荐(0)