2022年4月7日
第五次作业
摘要： 1.准备文件 上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写 5.停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词filter() 5.统计词频 6.按词频排序 7.输出并查看文件 二、求top值 1.丢弃不合规范的行： （1）空行 （2）数据不完整 阅读全文
posted @ 2022-04-07 16:26 Menway 阅读(11) 评论(0) 推荐(0)