2022年1月9日
摘要: 注意setMaster("local")和setMaster("local[*])的分区数是不一样的。*会匹配所有的cpu核数。 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obj 阅读全文
posted @ 2022-01-09 12:53 坚守梦想 阅读(150) 评论(0) 推荐(0) 编辑
摘要: org.apache.spark.rdd.ParallelCollectionRDD#getPartitions org.apache.spark.rdd.HadoopRDD#getPartitions 需要注意的是getPartitions方法的触发时机是在行动算子执行的时候触发: 阅读全文
posted @ 2022-01-09 12:47 坚守梦想 阅读(60) 评论(0) 推荐(0) 编辑
摘要: 只需要在class的第一行打上断点就可以了。 阅读全文
posted @ 2022-01-09 12:22 坚守梦想 阅读(41) 评论(0) 推荐(0) 编辑
摘要: idea查看接口的实现类快捷键(Ctrl+H) 阅读全文
posted @ 2022-01-09 12:00 坚守梦想 阅读(626) 评论(0) 推荐(0) 编辑