2015年11月27日
maven导入外部包pom.xml配置
摘要： com.hadoop hadoop-lzo 0.4.17-SNAPSHOT system D:\\Data\\opscenter\\tools\\bigdata\\hadoop-lzo-0.4.17-SNAPSHOT.jar 阅读全文
posted @ 2015-11-27 11:49 宝山方圆 阅读(977) 评论(0) 推荐(0)
【转】MapReduce读取lzo文件
摘要： 1.读lzo文件需要添加以下代码，并导入lzo相关的jar包job.setInputFormatClass(LzoTextInputFormat.class);2.写lzo文件lzo格式默认是不支持splitable的，需要为其添加索引文件，才能支持多个map并行对lzo文件进行处理如果希望redu... 阅读全文
posted @ 2015-11-27 11:19 宝山方圆 阅读(790) 评论(0) 推荐(0)