2024年1月24日
今日总结
摘要： 统计一段文本里出现频率最高的前k个词，注意单词不分大小写。 过程分析首先从文件读入数据到RDD，然后使用flatMap算子对每一行的数据按照空格进行分割，并将所有的字母都转为小写，接着使用mapToPair算子对每一个单词添加计数标记1，然后使用reduceByKey算子对单词进行reduce聚合， 阅读全文
posted @ 2024-01-24 21:18 北·岛 阅读(16) 评论(0) 推荐(0)