2020年1月28日

spark学习（五）RDD

摘要： （一）进入spark-shell命令界面（默认使用scala的命令界面） 1,如果进入了spark安装目录则使用、 1，一台机器启动spark：./bin/spark-shell --master <master-url>命令可进入shell界面，master-url参数可为：local[*]使用逻 阅读全文

posted @ 2020-01-28 23:22 不愧下学 阅读(531) 评论(0) 推荐(0)

spark学习（四）spark基本原理及安装

摘要： MapReduce与spark MapReduce： 操作单一，只有map，reduce spark：提供多种操作：过滤，分组，排序.... （一）spark生态环境： Mesos和YARN都是资源调度管理器 HDFS：分布式系统存储组件 S3：亚马逊提供的云端的简单的存储服务 Tachyon：基于 阅读全文

posted @ 2020-01-28 20:29 不愧下学 阅读(248) 评论(0) 推荐(0)

Spark学习（三）Scala程序例子

摘要： 例一：对目录下的单词文件进行单词统计 /word/first.txt： /word/second.txt： /word/third.txt： 运行结果： import java.io.File; import java.io.PrintWriter; import scala.io.Source; 阅读全文

posted @ 2020-01-28 12:31 不愧下学 阅读(1077) 评论(0) 推荐(0)

导航