摘要: SparkContext(Spark上下文) /** * Main entry point for Spark functionality. A SparkContext represents the connection to a Spark * cluster, and can be used 阅读全文
posted @ 2020-03-24 12:55 顿学累功 阅读(264) 评论(0) 推荐(0) 编辑
摘要: Spark组件是基于分布式资源引擎层(Yarn等)和分布式存储层(HDFS等)之上的一个组件,Spark本质上是一个计算引擎,负责计算的,根据不同计算场景划分出了SQL、Streaming、MLib、GraphX、R等模块,这些模块各自处理适合各自特点的计算场景。Spark Core作为Spark技 阅读全文
posted @ 2020-03-24 11:06 顿学累功 阅读(242) 评论(0) 推荐(0) 编辑