摘要: A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 分词 排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filter(), 长度小于2的词filter() 统计词频 按词频 阅读全文
posted @ 2022-06-07 18:10 yikw 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 综合练习:学生课程分数 网盘下载sc.txt文件,分别创建RDD、DataFrame和临时表/视图; 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 1.总共有多少学生? 2.总共开设了多少门课程? 3.每个学生选修了多少门课? 4.每门课程有多少个学生 阅读全文
posted @ 2022-05-25 17:19 yikw 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 1.1.SparkSQL出现的原因 hive是shark的前身,shark是sparkSQL的前身,sparkSQL产生的根本原因是其完全脱离了hive的限制,hive是hive SQL转换成 MapReduce然后提交到集群 阅读全文
posted @ 2022-04-27 16:49 yikw 阅读(123) 评论(0) 推荐(0) 编辑
摘要: 集合运算练习 union(), intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件,签到日期汇总,出勤次数统计 三、综合练习: 阅读全文
posted @ 2022-04-13 23:43 yikw 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 2.1启动hdfs 2.2上传文件 2.3查看文件 2.4加载 2.5停止hdfs 3.通过并行集合(列表)创建RDD输入列表 字符串 numpy生成数组 二、 RDD操作 转换操作 1.转换操作 1.fil 阅读全文
posted @ 2022-03-27 23:09 yikw 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 一、Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能 Spark Core: Spark核心组件,它实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Res 阅读全文
posted @ 2022-03-15 19:29 yikw 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 一、安装并配置Spark 1.检查基础环境 2.下载安装spark 3.配置相关文件 4.配置环境变量 5.配置完环境变量后启动spark 6.启动spark后进行测试 7.完成测试后输入exit()退出 二、Python编程练习:英文文本的词频统计 1.准备文本 2.文件预处理 3.最后将单词的出 阅读全文
posted @ 2022-03-06 23:00 yikw 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 一、列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述 1.HDFS(分布式文件系统) HDFS是hadoop体系中数据存储管理的基础。它是 Hadoop 技术体系中的核心基石,负责分布式存储数据,你可以把它理解为一个分布式的文件系统。此文件系统的主要特征是数 阅读全文
posted @ 2022-02-27 23:12 yikw 阅读(101) 评论(0) 推荐(0) 编辑