2018年6月15日
Spark提交应用程序之Spark-Submit分析
摘要： 1.提交应用程序 在提交应用程序的时候，用到 spark-submit 脚本。我们来看下这个脚本： 可以看出来 spark-class 脚本才是真正的提交程序的，spark-submit 脚本只是在其上封装一层，并传参 org.apache.spark.deploy.SparkSubmit 给它。这 阅读全文
posted @ 2018-06-15 22:19 大葱拌豆腐 阅读(700) 评论(0) 推荐(0)
Spark 参数配置的几种方法
摘要： 1.Spark 属性Spark应用程序的运行是通过外部参数来控制的，参数的设置正确与否，好与坏会直接影响应用程序的性能，也就影响我们整个集群的性能。参数控制有以下方式：（1）直接设置在SparkConf，通过参数的形式传递给SparkContext，达到控制目的。（通过set()方法传入key-va 阅读全文
posted @ 2018-06-15 22:02 大葱拌豆腐 阅读(476) 评论(0) 推荐(0)
Spark SQL数据源
摘要： SparkSQL数据源：从各种数据源创建DataFrame 因为 spark sql，dataframe，datasets 都是共用 spark sql 这个库的，三者共享同样的代码优化，生成以及执行流程，所以 sql，dataframe，datasets 的入口都是 sqlContext。 可用于 阅读全文
posted @ 2018-06-15 18:57 大葱拌豆腐 阅读(535) 评论(0) 推荐(0)
一个Spark job的生命历程
摘要： 一个job的生命历程 （1）所有的action算子都会触发一个job的调度，经过多次不同的runjob重载后停在这里调度 submitJob （2）调用eventProcessLoop方法，并发送 JobSubmitted 消息给DAGSchedulerEventProcessLoop(DAGSch 阅读全文
posted @ 2018-06-15 00:00 大葱拌豆腐 阅读(672) 评论(0) 推荐(0)