1.12学习总结:分区

一、学习视频

https://www.bilibili.com/video/BV1oE411s7h7?p=27

二、分区的作用

1.增加并行度

2.减少通信开销

三、自定义分区方法

调用SparkContext对象的.textFile()或者.parallelize()方法,在方法内传递两个参数,第一个是需要读取的数据,第二个是设置的分区数

三、单词词频统计

 

posted @ 2021-01-12 12:23  Protect_Winter  阅读(90)  评论(0)    收藏  举报