IDEA安装Scala插件

IDEA安装Scala插件

创建Scala Maven项目

 

建好项目把App、AppTest、MySpec三个类删掉。修改pom文件里scala的版本号。

  <properties>
    <scala.version>2.12.0</scala.version>
  </properties>

引入spark-core依赖。

<!-- https://mvnrepository.com/artifact/org.apache.spark/spark-core -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_2.12</artifactId>
    <version>3.1.2</version>
</dependency>

编写Scala代码

环境配好之后，可以写代码了。创建一个Scala的Object，它可以运行main方法。

package com.xy

import org.apache.spark.{SparkConf, SparkContext}

object Test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Test").setMaster("local")
    val sc = new SparkContext(conf)
    sc.setLogLevel("ERROR")
    val rdd = sc.parallelize(Array(1,2,3,2,1,4,5,2))
    val kv = rdd.map(x=>(x,1)).reduceByKey(_+_)
    kv.foreach(println)

  }
}

从(1,2,3,2,1,4,5,2)这个数据集里计算每个数字出现的次数，运行结果如下。

(4,1)
(1,2)
(3,1)
(5,1)
(2,3)

Process finished with exit code 0