7.Spark SQL

1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

因为关系数据库已经很流行，而且关系数据库在大数据时代已经不能满足要求。首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据。其次，用户需要执行高级分析，比如机器学习和图像处理。在实际大数据应用中，经常需要融合关系查询和复杂分析算法（比如机器学习或图像处理），但是，缺少这样的系统。

　　　　Spark SQL填补了这个鸿沟：首先，可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系型操作。其次，可以支持大数据中的大量数据源和数据分析算法Spark SQL可以融合：传统关系数据库的结构化数据管理能力和机器学习算法的数据处理能力。

2. 简述RDD 和DataFrame的联系与区别？

区别：

　　　　RDD是分布式的java对象的集合，但是对象内部结构对于RDD而言却是不可知的。
　　　　DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息，相当于关系数据库中的一张表。

 

　　　　联系：
　　　　1.都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利。
　　　　2、都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action才会运算。
　　　　3.都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出
　　　　4、三者都有partition的概念。
　　　　5.三者有许多共同的函数，如filter，排序等。

 

3.DataFrame的创建

 

spark.read.text(url)

 

spark.read.json(url) 

 

 

 

 

spark.read.format("text").load("people.txt")

 

spark.read.format("json").load("people.json")

 

 

 

 

描述从不同文件类型生成DataFrame的区别。

txt文件：创建的DataFrame数据没有结构
json文件：创建的DataFrame数据有结构

 

用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。

　　区别：
　　DataFrame可以看作是分布式的Row对象的集合，在二维表数据集的每一列都带有名称和类型，这就是Schema元信息，这使得Spark框架可以获取更多的数据结构信息，从而对在　　　　　DataFrame背后的数据源以及作用于DataFrame之上数据变换进行了针对性的优化，最终达到大幅提升计算效率。
　　RDD是分布式的Java对象的集合，例如图4-3中的RDD[Person]数据集，虽然它以Person为类型参数，但是对象内部之间的结构相对于Spark框架本身是无法得知的，这样在转换数据形式时效率相对较低。

 

4. PySpark-DataFrame各种常用操作

基于df的操作：

 

打印数据 df.show()默认打印前20条数据

 

打印概要 df.printSchema()

 

查询总行数 df.count()

 

df.head(3) #list类型，list中每个元素是Row类

 

输出全部行 df.collect() #list类型，list中每个元素是Row类

 

查询概况 df.describe().show()

 

取列 df[‘name’], df.name, df[1]

 

选择 df.select() 每个人的年龄+1

 

筛选 df.filter() 20岁以上的人员信息

 

筛选年龄为空的人员信息

 

分组df.groupBy() 统计每个年龄的人数

 

排序df.sortBy() 按年龄进行排序

 

基于spark.sql的操作：

 

创建临时表虚拟表 df.registerTempTable('people')

 

spark.sql执行SQL语句 spark.sql('select name from people').show()

 

 

 

5. Pyspark中DataFrame与pandas中DataFrame

分别从文件创建DataFrame 

 

pandas中DataFrame转换为Pyspark中DataFrame

 

Pyspark中DataFrame转换为pandas中DataFrame 

 

从创建与操作上，比较两者的异同

1. pandas中DataFrame创建出来的DataFrame有index索引，而Pyspark中DataFrame创建出来的没有。
2. 行列结构不同，pyspark中用的是Pyspark.sql.Row和Pyspark.sql.Column，而pandas中用的是Pandas.Series
3. spark中rdd是不可变得，因此dataFrame也是不可变的。而pandas中是可变得
4. pandas没有树结构输出，而spark中有

6.从RDD转换得到DataFrame

 

6.1 利用反射机制推断RDD模式

 

创建RDD sc.textFile(url).map()，读文件，分割数据项

 

每个RDD元素转换成 Row

 

由Row-RDD转换到DataFrame

 

 

6.2 使用编程方式定义RDD模式

 

#下面生成“表头” 

 

#下面生成“表中的记录” 

 

#下面把“表头”和“表中的记录”拼装在一起