SparkContext

SparkContext

__SparkContext__是spark功能的主要入口。

其代表与spark集群的连接,能够用来在集群上创建RDD、累加器、广播变量。
 
目前在一个JVM进程中可以创建多个SparkContext,但是只能有一个active级别的
每个JVM里只能存在一个处于激活状态的SparkContext,在创建新的SparkContext之前必须调用stop()来关闭之前的SparkContext.

SparkContext在spark应用中起到了master的作用,掌控了所有Spark的生命活动,统筹全局,除了具体的任务在executor中执行,其他的任务调度、提交、监控、RDD管理等关键活动均由SparkContext主体来完成。

对于普通的使用者来说,了解到这里即可,知道要使用Spark的功能要先创建一个SparkContext对象就行了,后续如何使用该对象的一些方法,只需要查文档即可,


posted @ 2021-08-19 10:10  路远要多思  阅读(164)  评论(0)    收藏  举报