5.RDD操作综合实例

A. 分步骤实现 

1. 准备文件读文件创建RDD

　　　　1.下载小说或长篇新闻稿

　　　　2.上传到hdfs上

 

 

 

 

 

2. 准备文件读文件创建RDD

 

 

3.分词

 

 

4.排除大小写lower()，map()

 

 

 

4.1.标点符号re.split(pattern,str)，flatMap()

 

 

 

去掉无用数据：

 

 

 

4.2.停用词,可网盘下载stopwords.txt,filter()

 

 

 

 

 

4.3.长度小于2的词filter()

 

 

 

5.统计词频

 

 

 

6. 按词频排序

 

 

 

7.输出到文件

 

 

 

1. 一句话实现：文件入文件出

 

 

 

1.  和作业2的“二、Python编程练习：英文文本的词频统计 ”进行比较，理解Spark编程的特点。

 

 

 

二、求Top值

网盘下载payment.txt文件，通过RDD操作实现选出最大支付额的用户。

1. 丢弃不合规范的行：

空行

少数据项

缺失数据

 

 

 2.支付金额转换为数值型，按支付金额排序

 

 

 

 

 

 3.取出Top3