Spark和Java API（一）local模式

spark的local模式

Local模式就是运行在一台计算机上的模式，Local 模式是最简单的一种Spark运行方式，它采用单节点多线程(CPU)方式运行， 通常就是用于在本机学习或者测试使用的。它可以通过以下的方式设置Master：

• local：所有的计算都运行在一个线程中，没有任何的并行计算。

• local[K]：这种方式可以指定用几个线程来计算，比如local[4]，就是指定4个Worker线程。

• local[*]：这种模式直接帮你按照CPU最多Core来设置线程数量了。

例子

进入spark的安装目录，比如D:\Software\spark-3.1.1-bin-hadoop2.7，执行求解Pi的蒙特卡洛方法：

bin\spark-submit --master local[2] --class org.apache.spark.examples.SparkPi examples\jars\spark-examples_2.12-3.1.1.jar 100

可以得到结果：