2017年8月30日
hadoop map中获取文件/切片名称
摘要： 需要注意的是：要通过context.getInputSplit() 获取切片信息，job设置时，一定不要合并小文件。 阅读全文
posted @ 2017-08-30 16:56 Nucky_yang 阅读(958) 评论(0) 推荐(0)
org.apache.hadoop.util.Shell demo/例子
摘要： 上面是很简单的一个例子，注意Shell.ShellCommandExecutor.execCommand内的参数： demo2：判断yarn 的队列中是否有任务提交，队列可以指定。 demo3：shell对管道符号'|' 和重定向符号‘>’ 的支持,需要用sh -c 后边拼接命令 demo4：直接用 阅读全文
posted @ 2017-08-30 15:12 Nucky_yang 阅读(741) 评论(0) 推荐(0)