2020年4月22日
Action算子练习
摘要： reduce(func) 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 scala> val rdd1 = sc.makeRDD(1 to 10,2) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[8 阅读全文
posted @ 2020-04-22 16:48 phy2020 阅读(181) 评论(0) 推荐(0)
spark程序，创建提交和运行
摘要： 1、创建一个spark程序 1.1 基于Maven构建Scala工程 1.2 加入Pom.xml <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi=" 阅读全文
posted @ 2020-04-22 13:47 phy2020 阅读(366) 评论(0) 推荐(0)