03 2021 档案

RDD编程练习
摘要：一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 阅读全文
posted @ 2021-03-29 17:46 szq33 阅读(24) 评论(0) 推荐(0)
大数据概论
摘要：一、简介 Hadoop是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。（如图1.1所示） （如图1.1） 二、核心 Hadoop对 阅读全文
posted @ 2021-03-02 18:35 szq33 阅读(283) 评论(0) 推荐(0)