摘要：
import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.ja... 阅读全文
摘要：
（1）创建Scala项目File->new->Project，如下图 选择Scala 然后next 其中Project SDK指定安装的JDK，Scala SDK指定安装的Scala（这里使用的是IDEA自带的scala SDK)，这里将项目名称命令为SparkWordCount，然后finish 在IDEA中开发应用程序时，常常需要通过一定的文件目录组织进行源码编写，例如源文件目录、测试源文件目... 阅读全文
摘要：
1.使用SparkConf配置Spark(1)在java中使用SparkConf创建一个应用：SparkConf conf =new SparkConf();//设置应用名称conf.set("spark.app.name",",my spark app");//设置masterconf.set("spark.master","local");//设置ui端口号conf.set("spark.ui... 阅读全文
摘要：
以下内容参考：http://blog.csdn.net/lovehuangjiaju/article/details/484947371.解压安装文件，设置环境变量这里我们使用的安装文件是已经编译好的spark，需要搭配hadoop-2.6.0使用。下载链接是：http://pan.baidu.com/s/1gdnW5mr解压安装文件至/cloud目录设置spark的环境变量：export SPA... 阅读全文