7.Spark SQL

1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。

  原因:

  由于关系数据库已经很流行,但关系数据库却跟不上大数据时代的脚步,满足不了客户需求。首先,用户需要从不同数据源执行各种操作,包括结构化和非结构化数据,其次用户需要执行高级分析,臂如机器学习和图像处理等。从实际大数据应用中,经常需要融合关系查询和复杂分析算法。

  起源:

  hive并不是另一个SQL,它只是SQL-on-Hadoop,执行的是在Hadoop上实现用类SQL的语法对SQL的快速查询。而在Spark开始兴起之后,就开始转向在Spark上使用Hive,于是开发出了Shark==Hive on Spark。

2. 简述RDD 和DataFrame的联系与区别?

  区别:
  RDD是分布式的java对象的集合,但是对象内部结构对于RDD而言却是不可知的。
  DataFrame是一种以RDD为基础的分布式数据集,提供了详细的结构信息,相当于关系数据库中的一张表。

  联系:
  1)都是spark平台下的分布式弹性数据集,为处理超大型数据提供便利。
  2)都有惰性机制,在进行创建、转换,如map方法时,不会立即执行,只有在遇到Action才会运算。
  3)都会根据spark的内存情况自动缓存运算,这样即使数据量很大,也不用担心会内存溢出
  4)三者都有partition的概念。
  5)三者有许多共同的函数,如filter,排序等。

3.DataFrame的创建

spark.read.text(url)

 

spark.read.json(url)

 

spark.read.format("text").load("people.txt")

 

spark.read.format("json").load("people.json")

 

4. PySpark-DataFrame各种常用操作

  基于df的操作:

  打印数据 df.show()默认打印前20条数据

 

  打印概要 df.printSchema()

  查询总行数 df.count()

 

  df.head(3) #list类型,list中每个元素是Row类

 

  输出全部行 df.collect() #list类型,list中每个元素是Row类

 

  查询概况 df.describe().show()

 

  取列 df[‘name’], df.name, df[1]

 

  基于spark.sql的操作:

  创建临时表虚拟表 df.registerTempTable('people')

  spark.sql执行SQL语句 spark.sql('select name from people').show()

 

5. Pyspark中DataFrame与pandas中DataFrame

分别从文件创建DataFrame

 

 

 

比较两者的异同 

Pyspark的DataFrame 是基于 RDD 的一种数据类型,具有比 RDD 节省空间和更高运算效率的优点。pandas的DataFrame 是一种表格型数据结构,按照列结构存储,它含有一组有序的列,每列可以是不同的值,但每一列只能有一种数据类型。

pandas中DataFrame 是可变的,pyspark中RDDs 是不可变的,因此 DataFrame 也是不可变的

pandas中所以是自动创建的,pyspark中没有 index 索引,若需要需要额外创建该列

 

pandas的是Series 结构,属于 Pandas DataFrame 结构,pyspark的是Row 结构,属于 Spark DataFrame 结构

pandas中DataFrame转换为Pyspark中DataFrame

 

Pyspark中DataFrame转换为pandas中DataFrame

 

 6.从RDD转换得到DataFram

6.1 利用反射机制推断RDD模式

创建RDD sc.textFile(url).map(),读文件,分割数据项

每个RDD元素转换成 Row

由Row-RDD转换到DataFrame

 

6.2 使用编程方式定义RDD模式

#下面生成“表头” 

#下面生成“表中的记录” 

#下面把“表头”和“表中的记录”拼装在一起

 

 

7. DataFrame的保存

df.write.text(dir)

df.write.json(dri)

df.write.format("text").save(dir)

df.write.format("json").save(dir)

 

 

 

 

 

 

 

 

posted @ 2022-05-10 21:33  一个人的爱情  阅读(29)  评论(0编辑  收藏  举报