会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
yqy_fyl
博客园
首页
新随笔
联系
订阅
管理
2022年6月7日
8. SparkSQL综合作业
摘要: 网盘下载sc.txt文件,创建RDD,并转换得到DataFrame。 分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生? 开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程>95分的学生人数 有多少个100分? Tom选修
阅读全文
posted @ 2022-06-07 20:04 yqy_fyl
阅读(49)
评论(0)
推荐(0)
2022年5月11日
7. Spark SQL
摘要: 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL出现的原因 hive是shark的前身,shark是sparkSQL的前身,sparkSQL产生的根本原因是其完全脱离了hive的限制,hive是hive SQL转换成MapReduce然后提交到集群上执行,大
阅读全文
posted @ 2022-05-11 10:46 yqy_fyl
阅读(32)
评论(0)
推荐(0)
2022年4月20日
6. RDD综合练习:更丰富的操作
摘要: 集合运算练习 union(), intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件,签到日期汇总,出勤次数统计 三、综合练习:
阅读全文
posted @ 2022-04-20 14:37 yqy_fyl
阅读(21)
评论(0)
推荐(0)
2022年4月6日
5RDD操作综合实例(附上第四次作业 补交)
摘要: 4RDD 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建 3.通过并行集合(列表)创建RDD 输入列表,字符串,numpy生成数组 二、 RDD操作 转换操作 1. map(func) 2. filter(func) 行动操作 1.foreach(print)
阅读全文
posted @ 2022-04-06 14:26 yqy_fyl
阅读(45)
评论(0)
推荐(0)
2022年3月30日
4DDR
摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建 3.通过并行集合(列表)创建RDD 输入列表,字符串,numpy生成数组 二、 RDD操作 转换操作 1. map(func) 2. filter(func) 行动操作 1.foreach(print) 2.col
阅读全文
posted @ 2022-03-30 22:00 yqy_fyl
阅读(174)
评论(0)
推荐(0)
2022年3月15日
Spark设计与运行原理,基本操作
摘要: 一、Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能 Spark Core: Spark核心组件,它实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Res
阅读全文
posted @ 2022-03-15 21:56 yqy_fyl
阅读(84)
评论(0)
推荐(0)
2022年3月8日
安装Spark与Python练习
摘要: 一、安装并配置Spark 1.首先检查一下java和hadoop的环 2.下载spark 3.解压spark安装包,对文件夹重命名,复制配置文件 4.对配置文件进行修改 3.配置好环境变量之后,进行 source ~/.bashrc 5.配置好环境之后就可以启动spark了, 6.输入python代
阅读全文
posted @ 2022-03-08 01:02 yqy_fyl
阅读(30)
评论(0)
推荐(0)
2022年2月28日
大数据概论
摘要: 一.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 1、HDFS(hadoop分布式文件系统) 是hadoop体系中数据存储管理的基础。他是一个高度容错的系统,能检测和应对硬件故障。 client:切分文件,访问HDFS,与namenode交互,获取文件
阅读全文
posted @ 2022-02-28 23:46 yqy_fyl
阅读(140)
评论(0)
推荐(0)
公告