2024年9月23日
Spark（七）Spark运行架构
摘要： 运行架构 Spark框架的核心是一个计算引擎，采用了标准master-slave的结构 如图展示了一个Spark执行时的基本结构，Driver表示master，负责管理整个集群中的作业任务调度，Executor是slave，负责实际执行任务 核心组件 1. Driver Spark驱动器节点，用于执 阅读全文
posted @ 2024-09-23 17:38 一年都在冬眠 阅读(229) 评论(0) 推荐(0)
Spark（六）运行模式（二）
摘要： Yarn模式 1、解压缩文件 [user@hadoop102 software]$ tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz -C /opt/module [user@hadoop102 software]$ cd /opt/module [user@hadoo 阅读全文
posted @ 2024-09-23 16:44 一年都在冬眠 阅读(52) 评论(0) 推荐(0)
Spark（五）运行模式（一）
摘要： Local模式 不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等 在IDEA中运行代码的环境称之为开发环境 1、解压缩文件 将spark-3.0.0-bin-hadoop3.2.tgz文件上传到Linux并解压缩，放置在指定位置，路径中不要包含中文或空格 压缩文 阅读全文
posted @ 2024-09-23 11:23 一年都在冬眠 阅读(123) 评论(0) 推荐(0)