yetang307

  博客园  :: 首页  :: 新随笔  :: 联系 :: 订阅 订阅  :: 管理

2024年1月19日

摘要: 1. 广播变量解决了什么问题? 分布式集合RDD和本地集合进行关联使用的时候, 降低内存占用以及减少网络IO传输, 提高性能. 2. 累加器解决了什么问题? 分布式代码执行中, 进行全局累加 Spark的核心是根据RDD来实现的,Spark Scheduler则为Spark核心实现的重要一环,其作用 阅读全文
posted @ 2024-01-19 23:14 椰糖 阅读(2) 评论(0) 推荐(0) 编辑