摘要： 阅读全文

摘要：注：本文章是看blog后的一个阶段小结，只作为个人笔记， 原文链接：http://www.iteblog.com/archives/1154 官网地址贴上：http://doc.akka.io/docs/akka/snapshot/scala/actors.html 在上篇文章中，我们写明了向act 阅读全文

摘要：注：本文章是看blog后的一个阶段小结，只作为个人笔记， 原文链接：http://www.iteblog.com/archives/1154 官网地址贴上：http://doc.akka.io/docs/akka/snapshot/scala/actors.html 什么是akka akka的act 阅读全文

摘要：load、save方法的用法 .save("hdfs://spark1:9000/peopleName_java"); parquet数据源： -》加载parquet数据 DataFrame usersDF = sqlContext.read().parquet("hdfs://spark1:900 阅读全文

摘要：一、通过结构化数据创建DataFrame： publicstaticvoid main(String[] args) { SparkConf conf = new SparkConf() .setAppName("DataFrameCreate").setMaster("local"); JavaS 阅读全文

摘要：http://www.iteblog.com/archives/1154 http://blog.csdn.net/wsscy2004/article/category/2430395 阅读全文

摘要：这是阅读sparkContext类的代码做的一个笔记。阅读这个类的时候，主要的任务就是搞清楚sparkContext是怎么构造的，java、C#的class的初始化都是放在一个方法中的，而scala的主构造函数代码几乎散落在真个sparkContext类中，这就需要我们将其整理出来，才能有条理的进行 阅读全文

摘要：一、环境准备： 安装mysql后，进入mysql命令行，创建测试表、数据： 将 mysql-connector-java 的jar文件拷贝到 \spark_home\lib\下，你可以使用最新版本，下载地址： http://dev.mysql.com/downloads/connector/j/ 二 阅读全文

摘要：http://blog.csdn.net/allwefantasy/article/details/50449464 阅读全文

摘要：http://www.jianshu.com/p/8e4c38d0c44e 阅读全文

摘要：合并元数据：两个数据集，有着一部分相同的列，将他们合并成一个数据集时merge的过程。 合并的规则：相同的列，在新的数据集中，是通用的列， 各自不同的列，也作为新的数据集的列。 Spark将数据写入到HDFS中的parquet为例： 准备连个json文件(StudentInfo1.json,Stud 阅读全文

摘要：常见transformation map 将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD filter 对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除。 flatMap 与map类似，但是对每个元素都可以返回一个或多个新元素。 gropu 阅读全文

摘要：JavaRDD<String> lines = sc.textFile("C://Users//Administrator//Desktop//spark.txt"); List<Integer> numbers = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 阅读全文

摘要：1、Java下Spark开发环境搭建（from http://www.cnblogs.com/eczhou/p/5216918.html） 1.1、jdk安装 安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\ 阅读全文