7.Spark SQL

1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

SparkSQL出现的原因：SparkSQL诞生之初就是当做一个优化项目诞生的，目的是为了优化Hive中在spark的效率。

SparkSQL的起源与发展：Spark 1.0版本开始，推出了Spark SQL。其实最早使用的，都是Hadoop自己的Hive查询引擎；但是后来Spark提供了Shark；再后来Shark被淘汰，推出了Spark SQL。Shark的性能比Hive就要高出一个数量级，而Spark SQL的性能又比Shark高出一个数量级。

 

2. 简述RDD 和DataFrame的联系与区别。

有时候DataFrame的表相关操作不能处理一些问题，例如需要对一些数据利用指定的函数进行计算时，就需要将DataFrame转换为RDD。

RDD是一个抽象的分布式数据集合，它提供了一系列转化操作。它是非常灵活的数据集合，其中可以存放类型相同或者互异的数据，同时可以指定任何自己期望的函数对其中的数据进行处理。DataFrame是一种完全格式化的数据集合，和数据库中的表的概念比较接近，它每列数据必须具有相同的数据类型。也正是由于DataFrame知道数据集合所有的类型信息，DataFrame可以进行列处理优化而获得比RDD更优的性能。并且RDD没有列名称，只能使用数字来索引却DataFrame一定有列名称。

 

3.1 PySpark-DataFrame创建：

 

 

spark.read.text(url)

 

spark.read.json(url) 

 

spark.read.format("text").load("people.txt")

 

spark.read.format("json").load("people.json")

 

描述从不同文件类型生成DataFrame的区别。

读取text文件，Spark不能识别文件内容。

读取json文件，Spark可以识别文件内容，还能根据不同字段的内容判断对应的数据类型。

用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。

 

 

DataFrame可以看作是分布式的Row对象的集合，Spark框架可以获取更多的数据结构信息，从而对在DataFrame背后的数据源以及作用于DataFrame之上数据变换进行了针对性的优化，最终达到大幅提升计算效率。而RDD是分布式的Java对象的集合，虽然它以Person为类型参数，但是对象内部之间的结构相对于Spark框架本身是无法得知的，这样在转换数据形式时效率相对较低。

 

3.2 DataFrame的保存

df.write.text(dir)

df.write.json(dri)

df.write.format("text").save(dir)

df.write.format("json").save(dir)

df.write.format("json").save(dir）

 

 

4.选择题：

1单选(2分)‍关于Shark，下面描述正确的是：C

A.Shark提供了类似Pig的功能

B.Shark把SQL语句转换成MapReduce作业

C.Shark重用了Hive中的HiveQL解析、逻辑执行计划翻译、执行计划优化等逻辑

D.Shark的性能比Hive差很多

 

2单选(2分)‏下面关于Spark SQL架构的描述错误的是：D

A.在Shark原有的架构上重写了逻辑执行计划的优化部分，解决了Shark存在的问题

B.Spark SQL在Hive兼容层面仅依赖HiveQL解析和Hive元数据

C.Spark SQL执行计划生成和优化都由Catalyst（函数式关系查询优化框架）负责

D.Spark SQL执行计划生成和优化需要依赖Hive来完成

 

3单选(2分)‌要把一个DataFrame保存到people.json文件中，下面语句哪个是正确的：A

A.df.write.json("people.json")

B.df.json("people.json")

C.df.write.format("csv").save("people.json")

D.df.write.csv("people.json")

 

4多选(3分)‎Shark的设计导致了两个问题：AC

A.执行计划优化完全依赖于Hive，不方便添加新的优化策略

B.执行计划优化不依赖于Hive，方便添加新的优化策略

C.Spark是线程级并行，而MapReduce是进程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

D.Spark是进程级并行，而MapReduce是线程级并行，因此，Spark在兼容Hive的实现上存在线程安全问题，导致Shark不得不使用另外一套独立维护的、打了补丁的Hive源码分支

 

5 多选(3分)‌下面关于为什么推出Spark SQL的原因的描述正确的是：AB

A.Spark SQL可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作

B.可以支持大量的数据源和数据分析算法，组合使用Spark SQL和Spark MLlib，可以融合传统关系数据库的结构化数据管理能力和机器学习算法的数据处理能力

C.Spark SQL无法对各种不同的数据源进行整合

D.Spark SQL无法融合结构化数据管理能力和机器学习算法的数据处理能力

 

6多选(3分)‌下面关于DataFrame的描述正确的是：ABCD

A.DataFrame的推出，让Spark具备了处理大规模结构化数据的能力

B.DataFrame比原有的RDD转化方式更加简单易用，而且获得了更高的计算性能

C.Spark能够轻松实现从MySQL到DataFrame的转化，并且支持SQL查询

D.DataFrame是一种以RDD为基础的分布式数据集，提供了详细的结构信息

 

7多选(3分)‏要读取people.json文件生成DataFrame，可以使用下面哪些命令：AC

A.spark.read.json("people.json")

B.spark.read.parquet("people.json")

C.spark.read.format("json").load("people.json")

D.spark.read.format("csv").load("people.json")

 

8单选(2分)以下操作中，哪个不是DataFrame的常用操作：D

A.printSchema()

B.select()

C.filter()

D.sendto()

 

9多选(3分)‏从RDD转换得到DataFrame包含两种典型方法，分别是：AB

A.利用反射机制推断RDD模式

B.使用编程方式定义RDD模式

C.利用投影机制推断RDD模式

D.利用互联机制推断RDD模式

 

10多选(3分)‍使用编程方式定义RDD模式时，主要包括哪三个步骤：ABD

A.制作“表头”

B.制作“表中的记录”

C.制作映射表

D.把“表头”和“表中的记录”拼装在一起

 

4. PySpark-DataFrame各种常用操作

基于df的操作：

打印数据 df.show()默认打印前20条数据

 

打印概要 df.printSchema()

 

查询总行数 df.count()

df.head(3) #list类型，list中每个元素是Row类

输出全部行 df.collect() #list类型，list中每个元素是Row类

查询概况 df.describe().show()

 

取列 df[‘name’], df.name, df[1]

 

选择 df.select() 每个人的年龄+1

 

筛选 df.filter() 20岁以上的人员信息

 

筛选年龄为空的人员信息

 

分组df.groupBy() 统计每个年龄的人数

 

排序df.sortBy() 按年龄进行排序

 

基于spark.sql的操作：

创建临时表虚拟表 df.registerTempTable('people')

spark.sql执行SQL语句 spark.sql('select name from people').show()

 

5. Pyspark中DataFrame与pandas中DataFrame

分别从文件创建DataFrame

比较两者的异同 

pandas中DataFrame转换为Pyspark中DataFrame

Pyspark中DataFrame转换为pandas中DataFrame

 

6.从RDD转换得到DataFrame

6.1 利用反射机制推断RDD模式

创建RDD sc.textFile(url).map()，读文件，分割数据项

 

 

每个RDD元素转换成 Row

 

 

由Row-RDD转换到DataFrame

 

 

6.2 使用编程方式定义RDD模式

#下面生成“表头” 

#下面生成“表中的记录”

 

 

#下面把“表头”和“表中的记录”拼装在一起