随笔档案「2013年3月12日」：对MapReduce程序进行单元测试 ... - 山君

2013年3月12日

摘要：关于此一篇不错的文章：使用MRUnit实现MapReduce程序的单元测试需要补充的是：1. 还需要一个jar包hadoop-mapred-0.22.0.jar，否则会收到关于MapContextImpl或ReduceContextImpl的NoClassDefFoundError。2. 如果遇到异常：java.lang.IncompatibleClassChangeError，把刚添加的jar包搞成和原来hadoop相关的jar包版本一致或很相近。阅读全文

posted @ 2013-03-12 17:24 山君阅读(291) 评论(0) 推荐(0)

Hive解决 java.io.IOException:SerDeException:LazySimpleSerDe

摘要：具体的出错信息是：Failed with exception java.io.IOException:org.apache.hadoop.hive.serde2.SerDeException: class org.apache.hadoop.hive.serde2.lazy.LazySimpleSerDe: expects either BytesWritable or Text object!出错原因：数据文件的field使用了LazySimpleSerDe不能解析的类型。报出此异常的代码为：public Object deserialize(Writable field) throws S 阅读全文

posted @ 2013-03-12 16:56 山君阅读(2687) 评论(0) 推荐(0)

MapReduce程序遇见java.net.UnknownHostException

摘要：异常信息：java.net.UnknownHostException: unknown host: xxx-host at org.apache.hadoop.ipc.Client$Connection.<init>(Client.java:244) at org.apache.hadoop.ipc.Client.getConnection(Client.java:1234) at org.apache.hadoop.ipc.Client.call(Client.java:1075) at org.apache.hadoop.ipc.RPC$Invoker.invoke(RPC.j 阅读全文

posted @ 2013-03-12 12:07 山君阅读(3578) 评论(1) 推荐(1)