艳荀

摘要： 1.需求的出现 当我们在driver端调度spark作用的过程中，需要向各个节点发送任务“数据”--Rdd，一个般一个Rdd会对应多个任务，没一个任务可以交给一个excutor执行，而一个excutor可以开启多个线程去计算，那么此时每个线程都要从Driver端获取Rdd,那样就会产生大量的副本，当 阅读全文

摘要： 1.spark主要有四种运行模式：Local、standalone、yarn、mesos。 1）Local模式：在一台机器上，一般用于开发测试 2）standalone模式：完全独立的spark集群，不依赖其他集群，分为Master和work。 客户端向Master注册应用，Master向work发 阅读全文