大数据随记 —— DataFrame 的创建与 Maven 配置

大数据系列文章：👉 目录 👈

文章目录

• • • 一、 开发环境准备
    • 二、 创建 DataFrame
    • • 基于 JSON 文件创建 DataFrame 示例

一、 开发环境准备

在项目的 pom.xml 中添加 Maven 的依赖：

<!--Spark SQL 基础依赖-->
<dependency>  
  <groupId>org.apache.spark</groupId>  
  <artifactId>spark-sql_2.12</artifactId>  
  <version>3.3.0</version>  
</dependency>

<!--Spark SQL 操作 Hive 的依赖-->
<dependency>  
  <groupId>org.apache.spark</groupId>  
  <artifactId>spark-hive_2.12</artifactId>  
  <version>3.3.0</version>  
</dependency>

二、 创建 DataFrame

Spark 应用程序使用 SQLContext，可以通过 RDD、Hive 表、JSON 格式数据创建 DataFrame。

基于 JSON 文件创建 DataFrame 示例

使用 spark.read.json() 方法即可通过读取 JSON 文件创建 DataFrame。

package sparksql  
  
import org.apache.spark.sql.SQLContext  
import org.apache.spark.{SparkConf, SparkContext}  
 
  
object DataFrameCreate {  
  
  def main(args: Array[String]): Unit = {  
    val sparkConf = new SparkConf().setMaster("local[2]").setAppName("DataFrameApp")  
    val sc = new SparkContext(sparkConf)  
    val sqlContext = new SQLContext(sc)  
  
    // 使用 SQLContext 将 JSON 文件转成 DataFrame    
    val df = sqlContext.read.json("resources/json/people.json")  
  
    df.show()  
    sc.stop()  
  }
}