6.Spark SQL 及其DataFrame的基本操作

1.Spark SQL出现的原因是什么?

Hive是Shark的前身，Shark是SparkSQL的前身,Spark SQL产生的根本原因是其完全脱离了Hive的限制。

特点：

引入了新的RDD类型SchemaRDD，可以像传统数据库定义表一样来定义SchemaRDD。

在应用程序中可以混合使用不同来源的数据，如可以将来自HiveQL的数据和来自SQL的数据进行Join操作。

内嵌了查询优化框架，在把SQL解析成逻辑执行计划之后，最后变成RDD的计算。

2.用spark.read 创建DataFrame

使用spark.read操作可以实现从不同类型的文件中加载数据创建DataFrame，如：读取文本文件并创建DataFrame：saprk.read.text("文件名.txt")或spark.read.format.("text").load("文件名.txt")，读取JSON文件并创建DataFrame：saprk.read.json("文件名.json")或spark.read.format.("json").load("文件名.json")，读取Parquet文件并创建DataFrame：saprk.read.parquet("文件名.parquet")或spark.read.format.("parquet").load("文件名.parquet")。

3.观察从不同类型文件创建DataFrame有什么异同?

在已有的RDDs转换成DateFrame

数组等结构化数据文件读取创建成DateFrame

JSO数据集创建成DateFrame

Hive表读取类似excel表数据创建成DateFrame

外部数据库读取数据创建成DateFrame

4.观察Spark的DataFrame与Python pandas的DataFrame有什么异同？

工作方式：pandas的是单机single machine tool，没有并行机制parallelism不支持Hadoop，处理大量数据有瓶颈

Spark的是分布式并行计算框架，内建并行机制parallelism，所有的数据和操作自动并行分布在各个集群结点上。以处理in-memory数据的方式处理distributed数据。支持Hadoop，能处理大量数据

5.Spark SQL DataFrame的基本操作

创建：

spark.read.text()