摘要：
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Shark的出现，使得SQL-on-Hadoop的性能比Hive有了10-100倍的提高,使用Hadoop进行迭代计算非常耗资源,Spark将数据载入内存后，之后的迭代计算都可以直接使用内存中的中间结果作运算，避免了从磁盘中 阅读全文
posted @ 2022-05-10 10:37
猫墩墩
阅读(28)
评论(0)
推荐(0)
摘要：
集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 持久化 scm.cache() 总共有多少学生？map( 阅读全文
posted @ 2022-04-12 13:25
猫墩墩
阅读(70)
评论(0)
推荐(0)
摘要：
一、词频统计 分步骤实现 准备文件 1.下载小说或长篇新闻稿 本地文件系统的数据写 2.上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写，标点符号 5.停用词，长度小于2的词 6.统计词频 7.排序 8.输出到文件 9.查看结果 B. 一句话实现：文件入文件出 二、求Top值 网盘下 阅读全文
posted @ 2022-04-11 22:03
猫墩墩
阅读(61)
评论(0)
推荐(0)
摘要：
一、 RDD创建 1.从本地文件系统中加载数据创建RDD 验证本地文件系统是否创建成功 2.从HDFS加载数据创建RDD 登录hdfs 查看是否登陆成功 查看当前目录是否有文件夹，没有则创建一个input的文件夹 创建成功后，上传my.txt文本文件，并查看 从分布式文件系统HDFS中加载数据 退出 阅读全文
posted @ 2022-03-22 12:55
猫墩墩
阅读(23)
评论(0)
推荐(0)
摘要：
3.Spark设计与运行原理，基本操作 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1、Spark Core Spark Core 是整个Spark生态系统的核心组件，是一个分布式大数据处理框架。Spark Core提供了多种资 阅读全文
posted @ 2022-03-13 00:37
猫墩墩
阅读(104)
评论(0)
推荐(0)
摘要：
一、安装Spark 基础环境--环境准备检查 安装spark 配置相关文件 查看spark配置 打开spark 在pyspark中运行代码 Python实现英文文本的词频统计 准备文本文件 读文件 txt = open('lol.txt', "r", encoding='UTF-8').read() 阅读全文
posted @ 2022-03-02 22:19
猫墩墩
阅读(52)
评论(0)
推荐(0)
摘要：
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 HDFS(分布式文件系统) HDFS是针对谷歌分布式文件系统的开源实现，它是Hadoop两大核心组成部分之一，提供了在廉价服务器集群中进行大规模分布式文件存储的能力。 HDFS具有很好的容错能力，并且兼 阅读全文
posted @ 2022-02-22 10:57
猫墩墩
阅读(158)
评论(0)
推荐(0)
浙公网安备 33010602011771号