补交作业5

一、词频统计

A. 分步骤实现

1.准备文件

    1.下载小说或长篇新闻稿

    2.上传到hdfs上

 

 

2.读文件创建RDD

 

3.分词

 

4.排除大小写lower(),map()

 

标点符号re.split(pattern,str),flatMap(),

先输入import re

 

长度小于2的词filter()

筛选出不在停用表中的词:

 

统计词频

 

按词频排序

 

输出到文件

 

查看结果

 

二、求Top值

网盘下载payment.txt文件,通过RDD操作实现选出最大支付额的用户。

posted @ 2022-06-07 22:55  苏广龙201906120111  阅读(23)  评论(0编辑  收藏  举报