摘要: 在生产环境中遇到了这种情况:spark程序需要处理输入是多个目录,输出也是多个目录。但是处理的逻辑都是相同的。 使用方法经历多次修改,最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理,在此记录一下。程序中所有异常处理,建议都在函数里面处理好,不要直接写一些处理代码。这样 阅读全文
posted @ 2020-06-26 22:15 Kotlin 阅读(715) 评论(0) 推荐(0)
Live2D