1、准备文件
下载小说或长篇新闻稿
上传到hdfs上
读文件创建RDD
分词
排除大小写lower(),map()
标点符号re.split(pattern,str),flatMap(),
停用词,可网盘下载stopwords.txt,filter(),
长度小于2的词filter()
统计词频
按词频排序
输出文件
查看结果