5.RDD操作综合实例

 

 

 

 一、词频统计 

A. 分步骤实现   　　

　　1.准备文件  　　　　

　　　　1.下载小说或长篇新闻稿         

 

 

 

　　　　2.上传到hdfs上           

 

 

 

 

　　2.读文件创建RDD             

 

 

 

　　3.分词               　　

 

 

 

　　4.排除大小写lower()，map()           

 

 

 

　　   标点符号re.split(pattern,str)，flatMap(),         

 

 

 

　　   停用词,可网盘下载stopwords.txt,filter()         

 

 

 

 

 

 　　  清除多余空白数据

 

 　　  筛选

 

 　　  筛选前后对比

 

 

　　   长度小于2的词filter()          　　

 

 

 

　　5.统计词频               

 

 

 

 

　　6.按词频排序          　

 

 

　　7.输出到文件                  　　

 

 

 

 

　　8.查看结果   

     

 

 

B. 一句话实现：文件入文件出

 

 

 

 

 

 

 

C. 和作业2的“二、Python编程练习：英文文本的词频统计 ”进行比较，理解并用自己话表达Spark编程的特点。     

　　1.首先第一点就是速度快，spark使用DAG 调度器、查询优化器和物理执行引擎，能够在批处理和流数据获得很高的性能。 

　　2. 第二就是使用简单————Spark的易用性主要体现在两个方面。一方面，我们可以用较多的编程语言来写我们的应用程序 

　　3.第三就是通用性高，我们可以很容易地在同一个应用中将一些常用的库结合起来使用，以满足我们的实际需求。 

　　4.第四就是它可以在很多环境上都可以运行，它可以运行在Hadoop,Mesos,Kubernetes,standalone,或者云服务器上，并且它有多种多种访问源数据的方式。 

二、求Top值  网盘下载payment.txt文件，通过RDD操作实现选出最大支付额的用户。

 

 

　　1.丢弃不合规范的行：  　　　　

　　　　空行  　　　　

　　　　少数据项  　　　　

　　　　缺失数据       

 

 

 

　　2.按支付金额排序     

 

 

 

　　3.取出Top3