2019年7月17日
13、SparkContext详解
摘要： 一、SparkContext原理 1、图解 1、当driver启动后会去运行我们的application，在运行application的时候，所有spark程序的第一行都是先创建SparkContext，在创建SparkContext的时候，它的内部创建 两个非常重要的东西DAGSchedule和T 阅读全文
posted @ 2019-07-17 15:12 米兰的小铁將 阅读(1114) 评论(0) 推荐(0)
12、基于yarn的提交模式
摘要： 一、三种提交模式 1、Spark内核架构，其实就是第一种模式，standalone模式，基于Spark自己的Master-Worker集群。 2、第二种，是基于YARN的yarn-cluster模式。 3、第三种，是基于YARN的yarn-client模式。 4、如果，你要切换到第二种和第三种模式， 阅读全文
posted @ 2019-07-17 09:25 米兰的小铁將 阅读(300) 评论(0) 推荐(0)