摘要: 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 因为关系数据库已经很流行,而且关系数据库在大数据时代已经不能满足要求。首先,用户需要从不同数据源执行各种操作,包括结构化、半结构化和非结构化数据。其次,用户需要执行高级分析,比如机器学习和图像处理。在实际大数据应用中,经常需要 阅读全文
posted @ 2022-05-10 18:50 巢志红 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 网盘下载sc.txt文件,通过RDD操作实现以下数据分析: 持久化 scm.cache() 总共有多少学生?map(), distinct(), count() 开设了多少门课程? 每个学生选修了多少门课?map(), countByKey() 每门课程有多少个学生选?map(), countByV 阅读全文
posted @ 2022-04-19 22:36 巢志红 阅读(10) 评论(0) 推荐(0) 编辑
摘要: A.分步骤实现 1.准备文件 下载小说或长篇新闻稿(从网上随便找一篇新闻) 上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap() 停用词 长度小于2的词filter() 5.统计词频 6.按 阅读全文
posted @ 2022-04-05 21:33 巢志红 阅读(10) 评论(0) 推荐(0) 编辑
摘要: 一、 RDD创建 从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合(列表)创建RDD 二、 RDD操作 转换操作 filter(func)显式定义函数lambda函数 map(func)显式定义函数lambd 阅读全文
posted @ 2022-03-21 23:20 巢志红 阅读(13) 评论(0) 推荐(0) 编辑
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core:Spark的核心组件,其操作的数据对象是RDD(弹性分布式数据集),图中在Spark Core上面的四个组件都依赖于Spark Core,可以简单认为Spark 阅读全文
posted @ 2022-03-14 21:21 巢志红 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 2.安装Spark与Python练习 一、安装Spark 检查基础环境 下载spark 解压,文件夹重命名、权限 4.配置文件与环境变量 5.试运行Python代码 二、Python编程练习:英文文本的词频统计 准备文本文件 2、读文件、预处理、分词、统计每个单词出现的次数、按词频大小排序 3.结果 阅读全文
posted @ 2022-03-08 14:22 巢志红 阅读(11) 评论(0) 推荐(0) 编辑
摘要: 1. 列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 1.HDFS 分布式文件系统 Hadoop分布式文件系统HDFS是针对谷歌分布式文件系统(Google File System,GFS)的开源实现,它是Hadoop两大核心组成部分之一,提供了在廉价服 阅读全文
posted @ 2022-02-23 11:25 巢志红 阅读(85) 评论(0) 推荐(0) 编辑