2019年3月11日
摘要: 在做项目的时候代码已经更新为hadoop 2.7 spark 2.1 scala 2.11.8版本,但是服务器版本使用的是hadoop2.6 spark1.6 以及scala2.10.6版本,,主程序包为main.jar启动程序使用 java -jar xxx.jar 但是使用过程中 报错 此错误为 阅读全文
posted @ 2019-03-11 09:24 郝心人forever 阅读(682) 评论(0) 推荐(0)
  2019年1月25日
摘要: 问题描述:MultipleOutputs使用时hdfs报错 解决方式: (1)文件流冲突。 一般创建文件时都会打开一个供写入的文件流。而我们希望是追加,所以如果使用了错误的API ,就有可能引起上述问题。以FileSystem类为例,如果使用create()方法之后再调用append()方法,就会抛 阅读全文
posted @ 2019-01-25 10:41 郝心人forever 阅读(739) 评论(0) 推荐(0)