2020年9月18日

算子
摘要： Spark 中最基本的数据抽象是 RDD。 RDD：弹性分布式数据集 (Resilient Distributed DataSet)。 不可变，分区，并行 Spark的算子的分类 （1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Value数据类型 阅读全文
posted @ 2020-09-18 19:20 happygril3 阅读(320) 评论(0) 推荐(0)
coalesce
摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object coalesceRDD { def main(args: Array[String]): Unit = { //本地模式 阅读全文
posted @ 2020-09-18 19:06 happygril3 阅读(255) 评论(0) 推荐(0)
distinct
摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object distinctRDD { def main(args: Array[String]): Unit = { //本地模式 阅读全文
posted @ 2020-09-18 18:58 happygril3 阅读(400) 评论(0) 推荐(0)
filter
摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object filterRDD { def main(args: Array[String]): Unit = { //本地模式 va 阅读全文
posted @ 2020-09-18 16:48 happygril3 阅读(79) 评论(0) 推荐(0)
groupby
摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //按照传入函数的返回值进行分组，将相同key对应的值放入一个迭代器 object groupbyRDD { def main(args 阅读全文
posted @ 2020-09-18 16:42 happygril3 阅读(166) 评论(0) 推荐(0)
glom
摘要： import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} //glom的作用是将同一个分区里的元素合并到一个array里 object glomRDD { def main(args: Arra 阅读全文
posted @ 2020-09-18 16:32 happygril3 阅读(134) 评论(0) 推荐(0)
flatMap
摘要： 对比结果2与结果3，很容易得出结论：map函数后，RDD的值为 Array(Array("a","b"),Array("c","d"),Array("e","f"))flatMap函数处理后，RDD的值为 Array("a","b","c","d","e","f")即最终可以认为，flatMap会将 阅读全文
posted @ 2020-09-18 16:08 happygril3 阅读(288) 评论(0) 推荐(0)
Map
摘要： import org.apache.spark.{SparkConf, SparkContext} import org.apache.spark.rdd.RDD //map(func) object rdd2 { def main(args: Array[String]): Unit = { // 阅读全文
posted @ 2020-09-18 15:18 happygril3 阅读(186) 评论(0) 推荐(0)
wordCount
摘要： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文
posted @ 2020-09-18 10:10 happygril3 阅读(116) 评论(0) 推荐(0)

导航