2022年5月21日
Spark 源码系列 - textFile -> inputSplit
摘要： 理解 goalSize:每个分区的预估大小(字节) splitSize: 实际分区大小 预估分区大小不足128M, 按照预估大小; 如果超过128M 就是128M 源码 public InputSplit[] getSplits(JobConf job, int numSplits) throws 阅读全文
posted @ 2022-05-21 23:42 608088 阅读(128) 评论(0) 推荐(0)