spark部署-寒假笔记

Spark环境搭建-Local

本质: 启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task

2.2 基本原理

 Local模式可以限制模拟Spark集群环境的线程数量, 即Local[N] 或 Local[*]

 其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N， 则默认是1个线程（该线程有1个core）。 通常Cpu有几个Core，就指定几个 线程，最大化利用计算能力.  如果是local[*]，则代表 Run Spark locally with as many worker threads as logical cores on your machine.按照Cpu最多的Cores设置线程数

 如果是local[*]，则代表 Run Spark locally with as many worker threads as logical cores on your machine.按照Cpu最多的Cores设置线程数

 

开箱即用：

直接启动bin目录下的spark-shell: /export/server/spark/bin/spark-shell

●运行成功以后，有如下提示信息

2.4 测试

- 基于bin/pyspark bin/pyspark 程序, 可以提供一个 交互式的 Python解释器环境, 在这里面可以用Python语言调用 Spark API 进行计算

 Local模式的运行原理?

Local模式就是以一个独立进程配合其内部线程来提供完成Spark运行时环境. Local 模式可以通过spark-shell/pyspark/spark-submit等来开启

bin/pyspark是什么程序?

是一个交互式的解释器执行环境,环境启动后就得到了一个Local Spark环境,可以运 行Python代码去进行Spark计算,类似Python自带解释器

Spark的4040端口是什么?

Spark的任务在运行后,会在Driver所在机器绑定到4040端口,提供当前任务的监控页 面供查看 

 

环境搭建-Standalone 

 

 

环境搭建-Spark on YARN