2024年1月16日
学习笔记5
摘要： RDD分区RDD是弹性分布式数据集，通常RDD很大，会被分成很多个分区分别保存在不同的节点上，分区的作用：（1）增加并行度（2）减少通信开销。RDD分区原则是使得分区的个数尽量等于集群中的CPU核心（core）数目，对于不同的Spark部署模式而言（本地模式、Standalone模式、YARN模式、 阅读全文
posted @ 2024-01-16 18:46 lcz111 阅读(28) 评论(0) 推荐(0)