2017年5月18日
java.lang.ClassNotFoundException: SparkPi$$anonfun$1
摘要： 出现这个错误可能有两种情况，Jar文件没有传上去，或者Build Path里面包含的Jar文件和Spark的运行环境有冲突。 对于第一种情况，需要在SparkConf语句后面加上Jar文件的路径： 对于第二种情况，需要把Build Path里面的Jar文件删除，因为Spark运行环境已经有这些文件了 阅读全文
posted @ 2017-05-18 20:29 MSTK 阅读(2091) 评论(0) 推荐(0)
Intellij IDEA连接Spark集群
摘要： 1. 首先安装Scala插件，File->Settings->Plugins，搜索出Scla插件，点击Install安装； 2. File->New Project->maven，新建一个Maven项目，填写GroupId和ArtifactId； 3. 编辑pom.xml文件，添加项目所需要的依赖： 阅读全文
posted @ 2017-05-18 19:12 MSTK 阅读(10652) 评论(0) 推荐(1)