Spark 2.x管理与开发-Spark SQL-Spark SQL基础 (三)创建DataFrame（3）使用JSon文件来创建DataFrame

Spark 2.x管理与开发-Spark SQL-Spark SQL基础 (三)创建DataFrame（3）使用JSon文件来创建DataFrame

 

可以直接读取一个带格式的文件，最简单的创建DataFrame的方式，但只是针对有格式的文件。

 

①　源文件：$SPARK_HOME/examples/src/main/resources/people.json

 

②　val df = spark.read.json("源文件")

 

③　查看数据和Schema信息

 

********************自己操作*****************

 

1.进入以下路径，取案例数据文件people.json备份到tmp_files目录下

 

/usr/local/spark-2.1.0-bin-hadoop2.7/examples/src/main/resources

 

[root@bigdata111 resources]# cp people.json /usr/local/tmp_files/

 

 

 

2.查看people.json文件内容

 

 

 

3.读取数据

 

第一种写法：

 

 

 

第二种写法：