2019年10月17日
小记---------spark架构原理&主要组件和进程
摘要： spark的主要组件和进程 driver （进程）： 我们编写的spark程序就在driver上，由driver进程执行 master（进程）： 主要负责资源的调度和分配，还有集群的监控 worker（进程）： 主要负责 1.用自己的内存 存储RDD的某个或某些partition； 2.启动其它进程 阅读全文
posted @ 2019-10-17 13:51 二黑诶 阅读(451) 评论(0) 推荐(0)