启动一个最简单的spark作业

首先肯定先是把整个算法包给打出来,打出来之后,打印出来之后,是要通过一个工具,将这个作业提交给整个spark集群

首先一个spark是怎么启动这些作业的,首先就是一个最简单的例子,看一下spark里面是怎么去执行的

SparkContext: Added JAR file:///home/hon/Downloads/spark-3.1.1-bin-hadoop2.7/examples/jars/scopt_2.12-3.7.1.jar at spark://station.lan:42700/jars/scopt_2.12-3.7.1.jar with timestamp 1621816398607

这里就是一个最简单的jar包了。所以说java的jar包里是包含了那些可以执行的类,这些可以执行的类就是将来程序执行的入口了。这些可执行的类就是将来程序的入口了

jar包其实就是一些class文件的集合,然后javac要做的事情呢,就是根据把java文件编译成class文件,然后怎么一个类就执行了,很是奇怪

都是按照

 哎~~终于做出来了,自己的第一个spark作业终于跑起来了。

java打包的时候一定要注意,jar包里面的目录结构一定是要和包的路径相匹配的。

所以spark做到了对数据的建模,然后对数据有了特定模式的建模;

from shima:现在所有的大数据平台,都想做sql这一套东西。

现在所有的大数据平台,也都是想着做sql这一套东西。

将来也是一个大文件直接输出的

posted @ 2021-05-25 08:04  honpey  阅读(165)  评论(0编辑  收藏  举报