2018年5月3日
Spark学习之路 （十八）SparkSQL简单使用
摘要： 一、SparkSQL的进化之路 1.0以前： Shark 1.1.x开始： SparkSQL(只是测试性的) SQL 1.3.x: SparkSQL(正式版本)+Dataframe 1.5.x: SparkSQL 钨丝计划 1.6.x： SparkSQL+DataFrame+DataSet(测试版本 阅读全文
posted @ 2018-05-03 21:54 扎心了，老铁 阅读(51699) 评论(0) 推荐(3) 编辑
Spark学习之路 （十七）Spark分区
摘要： 一、分区的概念 分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。 二、为什么要进行分区 数据分区， 阅读全文
posted @ 2018-05-03 19:24 扎心了，老铁 阅读(21393) 评论(5) 推荐(5) 编辑