第七次作业

1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。

SparkSQL的前身是Shark,是用来给MapReduce的技术人员提供快速上手的工具。
Hive是早期唯一运行在Hadoop上的SQL-on-Hadoop工具，但MapReduce计算过程中大量的中间磁盘落地过程消耗了大量的 I/O，降低的运行效率。所以开始出现了部分新的SQL-on-Hadoop工具，例如Drill、Shark

Shark是Spark生态环境的组件之一，是基于Hive所开发的工具。Shark的出现，使得SQL-on-Hadoop的性能比Hive有了 10-100 倍的提高。Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了SparkSQL项目。SparkSQL抛弃原有Shark的代码，汲取了Shark的一些优点。由于摆脱了对Hive的依赖性，SparkSQL无论在数据兼容、性能优化、组件扩展方面都得到了极大的方便

数据兼容方面SparkSQL不但兼容Hive，还可以从RDD、parquet文件、JSON文件中获取数据，未来版本甚至支持获取RDBMS数据以及cassandra 等 NOSQL数据；

  其中SparkSQL作为Spark生态的一员继续发展，而不再受限于Hive，只是兼容Hive；而Hive on Spark是一个Hive的发展计划，该计划将 Spark 作为 Hive的底层引擎之一，也就是说，Hive将不再受限于一个引擎，可以采用 Map-Reduce、Tez、Spark等引擎

2. 简述RDD 和DataFrame的联系与区别？

• RDD是一种弹性分布式数据集，是一种只读分区数据。它是spark的基础数据结构，具有内存计算能力、数据容错性以及数据不可修改特性。

• Dataframe也是一种不可修改的分布式数据集合，它可以按列查询数据，类似于关系数据库里面的表结构。可以对数据指定数据模式（schema）。

共同点

• 都是spark平台下的分布式弹性数据集，为处理超大型数据提供便利

• 都有惰性机制，在进行创建、转换，如map方法时，不会立即执行，只有在遇到Action如foreach时，才会开始遍历运算

• 都会根据spark的内存情况自动缓存运算，这样即使数据量很大，也不用担心会内存溢出

• 都有partition的概念

• 有许多共同的函数，如filter，排序等

 

3.DataFrame的创建

spark.read.text(url)

 

spark.read.json(url) 

 

spark.read.format("text").load("people.txt")

 

spark.read.format("json").load("people.json")

 

描述从不同文件类型生成DataFrame的区别。

用相同的txt或json文件，同时创建RDD，比较RDD与DataFrame的区别。

 

 4. PySpark-DataFrame各种常用操作

基于df的操作：

打印数据 df.show()默认打印前20条数据\

 

打印概要 df.printSchema()

 

查询总行数 df.count()

 

df.head(3) #list类型，list中每个元素是Row类

 

输出全部行 df.collect() #list类型，list中每个元素是Row类

 

查询概况 df.describe().show()

 

取列 df[‘name’], df.name, df[1]

 

基于spark.sql的操作：

创建临时表虚拟表 df.registerTempTable('people')

 

spark.sql执行SQL语句 spark.sql('select name from people').show()