SPARK的main方法和extends APP 大战

由于使用 extends APP 作为spark程序的入口出现诸多错误,细细一看发现原来答案在这

 

package org.apache.spark.deploy
private[deploy] object SparkSubmitAction extends Enumeration {

val app: SparkApplication = if (classOf[SparkApplication].isAssignableFrom(mainClass)) {
mainClass.newInstance().asInstanceOf[SparkApplication]
} else {
// SPARK-4170
if (classOf[scala.App].isAssignableFrom(mainClass)) {
printWarning("Subclasses of scala.App may not work correctly. Use a main() method instead.")
}
new JavaMainApplication(mainClass)
}

}
scala.App的子类可能无法正常工作。改用main()方法


按传统方案来 使用 main方法 ,不要搞非主流 骚操作
posted @ 2019-12-20 18:22  马鞍山  阅读(340)  评论(0)    收藏  举报