2019年6月20日
spark map和mapPartitions的区别
摘要： package dayo1 import org.apache.spark.{SparkConf, SparkContext} import scala.collection.mutable.ArrayBuffer object MapAndPartitions { def main(args: Array[String]): Unit = { val cof = new Sp... 阅读全文
posted @ 2019-06-20 15:24 又又IT 阅读(1020) 评论(0) 推荐(0)
RDD实例
摘要： 实例一： teacher.log 全局topn 组内topn 代码： 实例二： 去重 代码： 实例三： temperature.txt 需求：分析每年的最高温度 代码： 阅读全文
posted @ 2019-06-20 14:53 又又IT 阅读(416) 评论(0) 推荐(1)