摘要：1、Yarn运行模式介绍 Yarn运行模式就是说Spark客户端直接连接Yarn，不需要额外构建Spark集群。如果Yarn是分布式部署的，那么Spark就跟随它形成了分布式部署的效果。有 yarn client 和 yarn cluste r两种模式，主要区别在于： Driver程序的运行节点。 阅读全文

摘要：上篇笔记记录了Local模式的一些内容，但是实际的应用中很少有使用Local模式的，只是为了我们方便学习和测试。真实的生产环境中，Standalone模式更加合适一点。 1、基础概述 Standalone不是单机模式，它是集群，但是是基于Spark独立调度器的集群，也就是说它是Spark特有的运行模 阅读全文

摘要：Spark 的运行模式有 Local(也称单节点模式），Standalone(集群模式），Spark on Yarn(运行在Yarn上），Mesos以及K8s等常用模式，本文介绍第一种模式。 1、Local模式 Local模式就是运行在一台计算机上的模式， 也称单节点模式 。Local 模式是最简单 阅读全文

摘要：本篇笔记主要说一下Spark到底是个什么东西，了解一下它的基本组成部分，了解一下基本的概念，为之后的学习做铺垫。过于细节的东西并不深究。在实际的操作过程中，才能够更加深刻的理解其内涵。 1、什么是Spark？ Spark是由美国加州伯克利大学的AMP实验室开发的，一款基于 内存 计算的大数据 并行计 阅读全文