三秋叶

摘要： 1、Yarn运行模式介绍 Yarn运行模式就是说Spark客户端直接连接Yarn，不需要额外构建Spark集群。如果Yarn是分布式部署的，那么Spark就跟随它形成了分布式部署的效果。有 yarn client 和 yarn cluste r两种模式，主要区别在于： Driver程序的运行节点。 阅读全文

摘要： 上篇笔记记录了Local模式的一些内容，但是实际的应用中很少有使用Local模式的，只是为了我们方便学习和测试。真实的生产环境中，Standalone模式更加合适一点。 1、基础概述 Standalone不是单机模式，它是集群，但是是基于Spark独立调度器的集群，也就是说它是Spark特有的运行模 阅读全文