摘要：spark 2.3.1 scala 2.11 flink 1.9.2 阅读全文

摘要：Spark（三）角色和搭建 [TOC] 一、Spark集群角色介绍 详见 "JerryLead" / "SparkInternals" ，他的图解介绍能清晰的讲清楚Spark集群 二、集群的搭建 2.1.架构(图片来源，Spark官网) 一个Driver Program含有一个SparkContex 阅读全文

摘要：Spark（二）算子讲解 @[toc] 一、wordcountcount 基于上次的wordcount，我们来写一个wordcountcount，来对wc程序进行第二次计数，我们来分析一下性能。 通过性能图，我们可以知道： 1.Spark如果不对其结果进行存储或输出，那么Spark将不会处理map或 阅读全文

摘要：Spark（一）wordcount 一、新建一个scala项目 在maven中导入 编写Scala文件 执行结果 Java版本的 运行结果： scala精简代码 阅读全文