5.RDD操作综合实例

一、词频统计

A. 分步骤实现 

　　1.准备文件

　　　　1.下载小说或长篇新闻稿

 

 

　　　　2.上传到hdfs上

 

 

 

　　2.读文件创建RDD

 

 

 

　　3.分词

 

  

 

 

　　4.排除大小写lower()，map()

 

 

　　   标点符号re.split(pattern,str)，flatMap(),

 

 

　　   停用词,可网盘下载stopwords.txt,filter()

 

 

 

 

 

 

 

 

          长度小于2的词filter()

 

 

　　5.统计词频

 

 

 

 

 

　　6.按词频排序

 

 

　　7.输出到文件

 

 

 

 

　　8.查看结果

 

 

B. 一句话实现：文件入文件出

 

 

 

 

 

C. 和作业2的“二、Python编程练习：英文文本的词频统计 ”进行比较，理解并用自己话表达Spark编程的特点。

 

1.首先第一点就是速度快，spark使用DAG 调度器、查询优化器和物理执行引擎，能够在批处理和流数据获得很高的性能。

2. 第二就是使用简单————Spark的易用性主要体现在两个方面。一方面，我们可以用较多的编程语言来写我们的应用程序

3.第三就是通用性高，我们可以很容易地在同一个应用中将一些常用的库结合起来使用，以满足我们的实际需求。

4.第四就是它可以在很多环境上都可以运行，它可以运行在Hadoop,Mesos,Kubernetes,standalone,或者云服务器上，并且它有多种多种访问源数据的方式。

二、求Top值

网盘下载payment.txt文件，通过RDD操作实现选出最大支付额的用户。

 

 

　　1.丢弃不合规范的行：

　　　　空行

　　　　少数据项

　　　　缺失数据

 

 

　　2.按支付金额排序

 

 

　　3.取出Top3

 

 

 

 

 

 

 

 

资源链接：https://pan.baidu.com/s/1Hc9SxMLcsP9HVQLZ7eSVYA 提取码：tefr