2020年3月8日
spark性能优化
摘要： spark运行原理： spark作业提交后，会根据我们设置的参数启动一个占有一定内存和CPU core数的Driver。Driver进程启动后会现象其群管理器申请spark作业运行所需要的资源（Executor进程）。yarn集群管理器会根据设置的资源参数在每个节点上启动一定数量的Executor进 阅读全文
posted @ 2020-03-08 21:47 佚名博主 阅读(189) 评论(0) 推荐(0)