2021年8月23日
Spark分区器浅析
摘要： 分区器作用：决定该数据在哪个分区 概览： 仅仅只有pairRDD才可能持有分区器，普通RDD的分区器为None 在分区器为None时RDD分区一般继承至父RDD分区 初始RDD分区数： 由集合创建，RDD分区数为cores总数 由本地文件创建，RDD分区数为本地文件分片数 由HDFS文件创建，RDD 阅读全文
posted @ 2021-08-23 15:40 梦里繁花 阅读(114) 评论(0) 推荐(0) 编辑