Keep__Go

导航

 

2022年5月12日

摘要: 综合练习:学生课程分数 网盘下载sc.txt文件,分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生? 总共开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程>95分的学生人数 课程'Python'有多少个100 阅读全文
posted @ 2022-05-12 21:22 Keep__Go 阅读(83) 评论(0) 推荐(0) 编辑
 

2022年4月24日

摘要: 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL的出现,解决了对不同数据源和不同数据的操作,例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。 SparkSQL的前身是Shark,Shark中提供了类似于Hive的功能。但是Shark设计中 阅读全文
posted @ 2022-04-24 14:50 Keep__Go 阅读(35) 评论(0) 推荐(0) 编辑
 

2022年4月19日

摘要: 集合运算练习 union() intersection() subtract() cartesian() 内连接与外连接 join() leftOuterJoin() rightOuterJoin() fullOuterJoin() 三、综合练习:学生课程分数 网盘下载sc.txt文件,通过RDD操 阅读全文
posted @ 2022-04-19 21:27 Keep__Go 阅读(57) 评论(0) 推荐(0) 编辑
 

2022年4月2日

摘要: 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower(),map()标点符号re.split(pattern,str),flatMap(),停用词,可网盘下载stopwords.txt,filter(),长度小于2的词filt 阅读全文
posted @ 2022-04-02 00:30 Keep__Go 阅读(40) 评论(0) 推荐(0) 编辑
 

2022年3月21日

摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合(列表)创建RDD输入列表字符串numpy生成数组 二、 RDD操作 转换操作 filter(func)显式定义函数lambda函数 map(fun 阅读全文
posted @ 2022-03-21 20:38 Keep__Go 阅读(29) 评论(0) 推荐(0) 编辑
 

2022年3月12日

摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 1 . Spark Core:Spark的核心组件,其操作的数据对象是RDD(弹性分布式数据集)图中在Spark Core上面的四个组件都依赖于Spark Core,可以简单认为Spa 阅读全文
posted @ 2022-03-12 20:08 Keep__Go 阅读(20) 评论(0) 推荐(0) 编辑
 

2022年3月4日

摘要: 一、安装Spark 二、Python编程练习:英文文本的词频统计 # 1导入模块 # 导入字符串模块 import string # 2读取文件,并分词 list_dict = {} # 创建一个空字典,放词频与单词,无序排列 data = [] # 创建一个空列表,放词频与单词,有序:从多到少 f 阅读全文
posted @ 2022-03-04 00:14 Keep__Go 阅读(36) 评论(0) 推荐(0) 编辑
 

2022年2月24日

摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 2.对比Hadoop与Spark的优缺点。 Hadoop的特性: 高可靠性、高效性、高可拓展性、高容错性、成本低、运行在Linux操作系统中、支持多种语言 Hadoop的缺点: (1)表达能力有限。计算 阅读全文
posted @ 2022-02-24 14:30 Keep__Go 阅读(27) 评论(0) 推荐(0) 编辑