07 2018 档案

打包Scala jar 包的正确步骤
摘要：实验目的：打包可运行的scala jar，上传到spark集群，提交执行 1.idea中编译运行代码，可成功运行 2.修改2处代码//只配置appName，其他配置项注释掉val conf=new SparkConf() .setAppName("pageRank")//文件加载路径设为空，在提交执 阅读全文

posted @ 2018-07-15 10:56 moonlight.ml 阅读(7218) 评论(0) 推荐(0)

spark源码编译，运行example遇到：NoClassDefFoundError: org/spark_project/guava/cache/CacheLoader
摘要：基本环境： win10+idea Scala2.11.8 maven3.5.3 spark2.1.0 问题： 在window10下编译spark2.1.0源码，在idea下运行example，遇到问题 NoClassDefFoundError: org/spark_project/guava/cac 阅读全文

posted @ 2018-07-12 11:00 moonlight.ml 阅读(1146) 评论(0) 推荐(0)

导航