永不停歇—胡章诚

摘要： 这是阅读sparkContext类的代码做的一个笔记。阅读这个类的时候，主要的任务就是搞清楚sparkContext是怎么构造的，java、C#的class的初始化都是放在一个方法中的，而scala的主构造函数代码几乎散落在真个sparkContext类中，这就需要我们将其整理出来，才能有条理的进行 阅读全文

摘要： ThreadLocal：http://www.cnblogs.com/moonandstar08/p/4912673.html InheritableThreadLocal： http://www.cnblogs.com/ronry/p/4135438.html 阅读全文

摘要： 一、环境准备： 安装mysql后，进入mysql命令行，创建测试表、数据： 将 mysql-connector-java 的jar文件拷贝到 \spark_home\lib\下，你可以使用最新版本，下载地址： http://dev.mysql.com/downloads/connector/j/ 二 阅读全文

摘要： http://blog.csdn.net/allwefantasy/article/details/50449464 阅读全文

摘要： http://www.jianshu.com/p/8e4c38d0c44e 阅读全文

摘要： 合并元数据：两个数据集，有着一部分相同的列，将他们合并成一个数据集时merge的过程。 合并的规则：相同的列，在新的数据集中，是通用的列， 各自不同的列，也作为新的数据集的列。 Spark将数据写入到HDFS中的parquet为例： 准备连个json文件(StudentInfo1.json,Stud 阅读全文

摘要： 常见transformation map 将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD filter 对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除。 flatMap 与map类似，但是对每个元素都可以返回一个或多个新元素。 gropu 阅读全文

摘要： JavaRDD<String> lines = sc.textFile("C://Users//Administrator//Desktop//spark.txt"); List<Integer> numbers = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 阅读全文

摘要： 1、Java下Spark开发环境搭建（from http://www.cnblogs.com/eczhou/p/5216918.html） 1.1、jdk安装 安装oracle下的jdk，我安装的是jdk 1.7，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\ 阅读全文

摘要： 1.概念说明NSOperation的作⽤：配合使用NSOperation和NSOperationQueue也能实现多线程编程NSOperation和NSOperationQueue实现多线程的具体步骤：（1）先将需要执行的操作封装到一个NSOperation对象中（2）然后将NSOperation对 阅读全文