PySpark库-寒假笔记

6.2 什么是PySpark

我们前面使用过bin/pyspark 程序, 要注意, 这个只是一个应用程序, 提供一个Python解释器执行环境来运行Spark任务 我们现在说的PySpark, 指的是Python的运行类库, 是可以在Python代码中:import pyspark PySpark 是Spark官方提供的一个Python类库, 内置了完全的Spark API, 可以通过PySpark类库来编写Spark应用程序, 并将其提交到Spark集群中运行.

下图是,PySpark类库和标准Spark框架的简单对比 

 PySpark是什么?和bin/pyspark 程序有何区别?

PySpark是一个Python的类库, 提供Spark的操作API

bin/pyspark 是一个交互式的程序,可以提供交互式编程并执行Spark计算

 

本机开发PySpark环境搭建 

 Python语言开发Spark程序步骤？

主要是获取SparkContext对象,基于SparkContext对象作为执行环境入口

如何提交Spark应用？

将程序代码上传到服务器上, 通过spark-submit客户端工具进行提交