随笔档案「2022年1月9日」：Spark makeRDD方法本地Task的默认分区数 ... - 坚守梦想

2022年1月9日

摘要：注意setMaster("local")和setMaster("local[*])的分区数是不一样的。*会匹配所有的cpu核数。 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} obj 阅读全文

posted @ 2022-01-09 12:53 坚守梦想阅读(277) 评论(0) 推荐(0)

spark中生成RDD时分区规则是怎样的？（只需要看getPartitions方法的逻辑就可以了）

摘要： org.apache.spark.rdd.ParallelCollectionRDD#getPartitions org.apache.spark.rdd.HadoopRDD#getPartitions 需要注意的是getPartitions方法的触发时机是在行动算子执行的时候触发：阅读全文

posted @ 2022-01-09 12:47 坚守梦想阅读(104) 评论(0) 推荐(0)

scala中如何调试构造方法？（如何在构造方法中打断点？）

摘要：只需要在class的第一行打上断点就可以了。阅读全文

posted @ 2022-01-09 12:22 坚守梦想阅读(115) 评论(0) 推荐(0)

idea查看接口的实现类快捷键（Ctrl+H）

摘要： idea查看接口的实现类快捷键（Ctrl+H）阅读全文

posted @ 2022-01-09 12:00 坚守梦想阅读(1051) 评论(0) 推荐(0)