2018年11月21日
spark提交任务的三种的方法
摘要： 在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有三种： 第一种: 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下：./spark-submit --class com.learn.s 阅读全文
posted @ 2018-11-21 23:38 大葱拌豆腐 阅读(8026) 评论(0) 推荐(0)
yarn client中的一个BUG的修复
摘要： org.apache.spark.deploy.yarn.Client.scala中的monitorApplication方法： 其中： yarn state为finished的时候的状态细分不够明确，将原来的 reportLauncherState(SparkAppHandle.State.FAI 阅读全文
posted @ 2018-11-21 23:30 大葱拌豆腐 阅读(911) 评论(0) 推荐(0)