04 2022 档案

6. RDD综合练习：更丰富的操作
摘要：持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 生成（姓名，课程分数）键值对RDD，观察keys(),values() 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), co 阅读全文
posted @ 2022-04-20 18:17 Eudemonia⁰ 阅读(18) 评论(0) 推荐(0)
5.RDD操作综合实例
摘要：一、词频统计 A:分步骤实现 1.准备文件 下载小说或长篇新闻稿 上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap() 停用词,可网盘下载stopwords.txt,filter() 长度小 阅读全文
posted @ 2022-04-07 21:37 Eudemonia⁰ 阅读(35) 评论(0) 推荐(0)