04 2022 档案

6、RDD综合练习：更丰富的操作
摘要：集合运算练习 union()， intersection()，subtract(), cartesian(） 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、 持久化  阅读全文
posted @ 2022-04-20 22:10 shiqiqio 阅读(14) 评论(0) 推荐(0)
5.RDD操作综合实例
摘要：一、词频统计 1.分步骤实现 1）.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 3.读文件创建RDD 分词 排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 阅读全文
posted @ 2022-04-12 08:53 shiqiqio 阅读(17) 评论(0) 推荐(0)