2020年8月1日
Spark(二)【sc.textfile的分区策略源码分析】
摘要： **sparkcontext.textFile()**返回的是HadoopRDD！ 关于HadoopRDD的官方介绍，使用的是旧版的hadoop api ctrl+F12搜索 HadoopRDD的getPartitions方法，这里进行了分区计算 读取的是txt文件，用的是TextInputForm 阅读全文
posted @ 2020-08-01 08:52 来自遥远的水星 阅读(683) 评论(2) 推荐(1)