spark examples 导入idea并测试

记录下自己使用idea导入spark examples项目的过程。

spark examples 项目可以给我们提供很多有益的参考,经常看看这些代码有助于提高我们写scala代码的水平。

只导入spark-example项目,其他不管,这个项目使用maven管理依赖,导入的时候选择maven.

我并未测试全部的程序,只测试了scala包中前面几个,第一个广播变量的测试的时候报错,找不到google,maps.

遂在pom包中添加guava的依赖。

    <dependency>
      <groupId>com.google.guava</groupId>
      <artifactId>guava</artifactId>
      <scope>compile</scope>
    </dependency>

一开始直接ctrl+shift+f10会报找不到sparksession之类的错误,解决方法:ctrl+r 替换provided->compile


val spark = SparkSession
.builder
.appName("GroupBy Test")
.master("local[*]")
.getOrCreate()

直接右键运行或快捷键运行的时候会报没有提供有效的master url,为了直接调试程序,在代码中加入

      .config("spark.master","local[*]") or .master("local[*]")即可。

posted on 2018-11-18 16:15  tneduts  阅读(958)  评论(0编辑  收藏  举报

导航