摘要：第六次 集合运算练习 内连接与外连接 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 总共有多少学生？ 开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 有多少个100分？ Tom选修了几门课？每门课多少分？ Tom选修了几门课？每门课多少分？ 第七次 1. 阅读全文

摘要：1.准备文件 上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写 5.停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词filter() 5.统计词频 6.按词频排序 7.输出并查看文件 二、求top值 1.丢弃不合规范的行： （1）空行 （2）数据不完整 阅读全文