作业5

一、词频统计

A. 分步骤实现

1.准备文件

    1.下载小说或长篇新闻稿

    2.上传到hdfs上

 

 

2.读文件创建RDD

 

3.分词

 

4.排除大小写lower()，map()

 

标点符号re.split(pattern,str)，flatMap(),

先输入import re

 

长度小于2的词filter()

筛选出不在停用表中的词：

 

统计词频

 

按词频排序

 

输出到文件

 

查看结果

 

二、求Top值

网盘下载payment.txt文件，通过RDD操作实现选出最大支付额的用户。