第五次作业

1、准备文件

下载小说或长篇新闻稿

上传到hdfs上        

 

读文件创建RDD

 

分词

 

排除大小写lower(),map()

 


标点符号re.split(pattern,str),flatMap(),

 


停用词,可网盘下载stopwords.txt,filter(),

长度小于2的词filter()

 

统计词频

 

按词频排序

 

输出文件

 

查看结果

 

posted @ 2022-04-12 12:29  ckff  阅读(10)  评论(0编辑  收藏  举报