摘要: 本文介紹如何基于Spark和Java来实现一个Join算子的应用示例。 创建工程 创建一个Maven工程,pom.xml文件如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001 阅读全文
posted @ 2021-06-10 20:15 ralgo 阅读(200) 评论(0) 推荐(0)
摘要: 本文介紹如何基于Spark和Java来实现一个单词计数(Word Count)的程序。 创建工程 创建一个Maven工程,pom.xml文件如下: <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3. 阅读全文
posted @ 2021-06-10 14:42 ralgo 阅读(178) 评论(0) 推荐(0)
摘要: spark的local模式 Local模式就是运行在一台计算机上的模式,Local 模式是最简单的一种Spark运行方式,它采用单节点多线程(CPU)方式运行, 通常就是用于在本机学习或者测试使用的。它可以通过以下的方式设置Master: local:所有的计算都运行在一个线程中,没有任何的并行计算 阅读全文
posted @ 2021-06-10 12:08 ralgo 阅读(357) 评论(0) 推荐(0)