5.RDD操作综合案例

一、词频统计

　　1.准备文件

　　　　1.下载小说或长篇新闻稿

　　　　2.上传到hdfs上

　　　　

 

 

 　　　　

 

 

 　　2.读文件创建RDD

　　　　

 

 

 

　　 3.分词

　　　　

 

 

 

　　 4.排除大小写lower()，map()

　　　　

 

 

 

　　　　标点符号re.split(pattern,str)，flatMap(),

　　　　

 

 

 

　　　　停用词,可网盘下载stopwords.txt,filter()，

　　　　

 

 

 

　　　　长度小于2的词filter()

　　　　

 

 

 

　　

　　 5.统计词频

　　　　

 

 

 

　　　　

 

 

　　 6.按词频排序

　　

 

 

 　　　　

 

 

 

　　 7.输出到文件

　　　　

 

 

　　 8.查看结果

　　　　

 

 

二、求Top值