2022年6月5日
补交作业
摘要： 链接： 6.RDD综合练习：更丰富的操作 https://www.cnblogs.com/zh2597/p/16345425.html 7.Spark SQL https://www.cnblogs.com/zh2597/p/16345428.html 阅读全文
posted @ 2022-06-05 22:42 九月微凉 阅读(18) 评论(0) 推荐(0)
（补交）7.Spark SQL
摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展 Hadoop刚开始出来的时候，使用的是hadoop自带的分布式计算系统MapReduce，但是MapReduce的使用难度较大，所以就开发了Hive，Hive编程用的是类SQL的HQL的语句，这样编程的难度就大大的降低了，Hi 阅读全文
posted @ 2022-06-05 22:37 九月微凉 阅读(44) 评论(0) 推荐(0)
（补交）RDD综合练习：更丰富的操作
摘要： 集合运算练习 union()， intersection()，subtract(), cartesian(） 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、 持久化  阅读全文
posted @ 2022-06-05 22:35 九月微凉 阅读(29) 评论(0) 推荐(0)
2022年5月10日
Spark SQL
摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展 Hadoop刚开始出来的时候，使用的是hadoop自带的分布式计算系统MapReduce，但是MapReduce的使用难度较大，所以就开发了Hive，Hive编程用的是类SQL的HQL的语句，这样编程的难度就大大的降低了，Hi 阅读全文
posted @ 2022-05-10 22:14 九月微凉 阅读(98) 评论(0) 推荐(0)
2022年4月5日
RDD操作综合实例
摘要： 一、词频统计 A.分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs 启动hdfs 上传文件并查看 2.读文件创建RDD 创建SparkContext以及从文件系统中加载数据创建RDD 与原txt文件对比 3.分词 4.标点符号re.split(pattern,str)，flat 阅读全文
posted @ 2022-04-05 20:53 九月微凉 阅读(54) 评论(0) 推荐(0)
2022年3月29日
RDD创建
摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 停止hdfs 3.通过并行集合（列表）创建RDD 二、 RDD操作 转换操作 1.filter(func) 传入lambda匿名函数 显式定义函数 2.map(func) 显 阅读全文
posted @ 2022-03-29 18:43 九月微凉 阅读(55) 评论(0) 推荐(0)
2022年3月10日
Spark设计与运行原理、基本操作
摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 目前，Spark生态系统已经发展成为一个可应用于大规模数据处理的统一分析引擎，它是基于内存计算的大数据并行计算框架，适用于各种各样的分布式平台系统。在Spark生态圈中包含了Spark 阅读全文
posted @ 2022-03-10 14:59 九月微凉 阅读(151) 评论(0) 推荐(0)
2022年3月6日
安装Spark与python练习
摘要： 一、安装Spark 1、检查基础环境hadoop,jdk 2、下载spark 3、环境变量 4、运行Python代码 二、Python编程练习：英文文本的词频统计 准备文本文件（f1.txt）： Carter's devotion to her ancestor is about more than 阅读全文
posted @ 2022-03-06 23:37 九月微凉 阅读(45) 评论(0) 推荐(0)
2022年2月22日
1.大数据概述
摘要： 2. 首先，Spark 把中间数据放到内存中，迭代运算效率高。MapReduce 中计算结果需要落地，保存到磁盘上，这样势必会影响整体速度，而 Spark 支持 DAG 图的分布式并行计算的编程框架，减少了迭代过程中数据的落地，提高了处理效率。（延迟加载）其次，Spark 容错性高。Spark 引进 阅读全文
posted @ 2022-02-22 10:33 九月微凉 阅读(66) 评论(0) 推荐(0)