2月10日

今天继续学习sparksql，他们在idea中操作spark，我就去找资料学习怎么配置spark项目。这个教程网上有

最重要的一点是添加怎么样的依赖 ，这是我最后配置好的依赖

<dependencies>
    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-core_2.11</artifactId>
        <version>2.1.3</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-hive_2.11</artifactId>
        <version>2.1.3</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-sql_2.11</artifactId>
        <version>2.1.3</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>2.1.3</version>
    </dependency>

    <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-mllib_2.11</artifactId>
        <version>2.1.3</version>
    </dependency>



    <dependency>
        <groupId>mysql</groupId>
        <artifactId>mysql-connector-java</artifactId>
        <version>8.0.27</version>
    </dependency>
</dependencies>

这样就能进行开发

 

创建临时表或者临时视图的几种方法介绍：

1-frame.registerTempTable()// 此方法已过时，不建议使用：

def registerTempTable(tableName: String): Unit = {

  createOrReplaceTempView(tableName)

}

2- frame.createTempView("t01") //创建临时视图（）

3- frame.createOrReplaceTempView()//创建或替换临时视图（）

4- frame.createOrReplaceGlobalTempView() //创建或替换全局临时视图（）

5- frame.createGlobalTempView() //创建全局临时视图（）

方法的区别： 

不带 Global的方法说明：在当前的spark applicaiton中使用；

 带 Global的方法说明：在当前的spark session中使用；一个应用中含有多个session，多个session共享一个视图；

 带有和不带有：Replace的方法，表示创建试图之外，还会覆盖掉之前的视图；