7.Spark SQL

1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

　　原因：

　　由于关系数据库已经很流行，但关系数据库却跟不上大数据时代的脚步，满足不了客户需求。首先，用户需要从不同数据源执行各种操作，包括结构化和非结构化数据，其次用户需要执行高级分析，臂如机器学习和图像处理等。从实际大数据应用中，经常需要融合关系查询和复杂分析算法。

　　起源：

　　hive并不是另一个SQL，它只是SQL-on-Hadoop，执行的是在Hadoop上实现用类SQL的语法对SQL的快速查询。而在Spark开始兴起之后，就开始转向在Spark上使用Hive，于是开发出了Shark==Hive on Spark。

2. 简述RDD 和DataFrame的联系与区别？

　　区别：
　　RDD是分布式的java对象的集合，但是对象内部结构对于RDD而言却是不可知的。
　　DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息，相当于关系数据库中的一张表。

　　联系：
　　1）都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利。
　　2）都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action才会运算。
　　3）都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出
　　4）三者都有partition的概念。
　　5）三者有许多共同的函数，如filter，排序等。

3.DataFrame的创建

spark.read.text(url)

 

spark.read.json(url)

 

spark.read.format("text").load("people.txt")

 

spark.read.format("json").load("people.json")

 

4. PySpark-DataFrame各种常用操作

　　基于df的操作：

　　打印数据 df.show()默认打印前20条数据

 

　　打印概要 df.printSchema()

　　查询总行数 df.count()

 

　　df.head(3) #list类型，list中每个元素是Row类

 

　　输出全部行 df.collect() #list类型，list中每个元素是Row类

 

　　查询概况 df.describe().show()

 

　　取列 df[‘name’], df.name, df[1]

 

　　基于spark.sql的操作：

　　创建临时表虚拟表 df.registerTempTable('people')

　　spark.sql执行SQL语句 spark.sql('select name from people').show()

 

5. Pyspark中DataFrame与pandas中DataFrame

分别从文件创建DataFrame

 

 

 

比较两者的异同 

Pyspark的DataFrame 是基于 RDD 的一种数据类型，具有比 RDD 节省空间和更高运算效率的优点。pandas的DataFrame 是一种表格型数据结构，按照列结构存储，它含有一组有序的列，每列可以是不同的值，但每一列只能有一种数据类型。

pandas中DataFrame 是可变的，pyspark中RDDs 是不可变的，因此 DataFrame 也是不可变的

pandas中所以是自动创建的，pyspark中没有 index 索引，若需要需要额外创建该列

 

pandas的是Series 结构，属于 Pandas DataFrame 结构，pyspark的是Row 结构，属于 Spark DataFrame 结构

pandas中DataFrame转换为Pyspark中DataFrame

 

Pyspark中DataFrame转换为pandas中DataFrame

 

 6.从RDD转换得到DataFram

6.1 利用反射机制推断RDD模式

创建RDD sc.textFile(url).map()，读文件，分割数据项

每个RDD元素转换成 Row

由Row-RDD转换到DataFrame

 

6.2 使用编程方式定义RDD模式

#下面生成“表头” 

#下面生成“表中的记录” 

#下面把“表头”和“表中的记录”拼装在一起

 

 

7. DataFrame的保存

df.write.text(dir)

df.write.json(dri)

df.write.format("text").save(dir)

df.write.format("json").save(dir)