1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。
Spark SQL 的前身是 Shark ，即"Hive on Spark"，由 Reynold Xin 主导开发。 Shark 项目最初启动于 2011 年，当时 Hive 几乎算是唯一的 SQL-on-Hadoop 选择方案。 Hive 将 SQL 语句翻译为 MapReduce ，性能会受限于 MapReduce 计算模型，始终无法满足各种交互式 SQL 分析的需求，因此许多机构仍然依赖传统的企业数据仓库( EDW )。 Shark 的提出就是针对这种需求的，目标是既能够达到 EDW 的性能，又能够具有 MapReduce 的水平扩展功能。 Shark 建立在 Hive 代码的基础上，只修改了内存管理、物理计划、执行 3 个模块中的部分逻辑。 Shark 通过将 Hive 的部分物理执行计划交换出来(“swapping out the physical execution engine part of Hive")， 最终将 HiveQL 转换为 Spark 的计算模型，使之能运行在 Spark 引擎上，从而使得 SQL 査询的速度得到 10 ~ 100 倍的提升。 此外， Shark 的最大特性是与 Hive 完全兼容，并且支持用户编写机器学习或数据处理函数，对 HiveQL 执行结果进行进一步分析。
2. 简述RDD 和DataFrame的联系与区别？
RDD 和 DataFrame 均为 Spark 平台对数据的一种抽象，一种组织方式，但是两者的地位或者说设计目的却截然不同。 RDD 是整个 Spark 平台的存储、计算以及任务调度的逻辑基础，更具有通用性，适用于各类数据源， 而 DataFrame 是只针对结构化数据源的高层数据抽象，其中在 DataFrame 对象的创建过程中必须指定数据集的结构信息( Schema )， 所以 DataFrame 生来便是具有专用性的数据抽象，只能读取具有鲜明结构的数据集，RDD[Person] 虽然以 Person 类为类型参数，但 Spark 平台本身并不了解 Person 类的内部结构。DataFrame 却提供了详细的结构信息，使得 Spark SQL 可以清楚地知道该数据集中包含哪些列，每列的名称和类型各是什么。DataFrame 多了数据的结构信息，即 schema 。RDD 是分布式的 Java 对象的集合， DataFrame 则是分布式的 Row 对象的集合。
3.DataFrame的创建
spark.read.text(url)
spark.read.json(url) 注意从不同文件类型生成DataFrame的区别。
spark.read.format("text").load("people.txt")
spark.read.format("json").load("people.json")
4. PySpark-DataFrame各种常用操作
基于df的操作：
打印数据 df.show()默认打印前20条数据
打印概要 df.printSchema()
查询总行数 df.count()
df.head(3) #list类型，list中每个元素是Row类
输出全部行 df.collect() #list类型，list中每个元素是Row类
查询概况 df.describe().show()
取列 df[‘name’], df.name, df[1]
基于spark.sql的操作：
创建临时表虚拟表 df.registerTempTable('people')
spark.sql执行SQL语句 spark.sql('select name from people').show()
5. Pyspark中DataFrame与pandas中DataFrame
分别从文件创建DataFrame
比较两者的异同
pandas中DataFrame转换为Pyspark中DataFrame
Pyspark中DataFrame转换为pandas中DataFrame
6.从RDD转换得到DataFrame
6.1 利用反射机制推断RDD模式
创建RDD sc.textFile(url).map()，读文件，分割数据项
每个RDD元素转换成 Row
由Row-RDD转换到DataFrame
6.2 使用编程方式定义RDD模式
#下面生成“表头”
#下面生成“表中的记录”
#下面把“表头”和“表中的记录”拼装在一起
7. DataFrame的保存
df.write.text(dir)
df.write.json(dri)
df.write.format("text").save(dir)
df.write.format("json").save(dir)
