摘要：
综合练习：学生课程分数 分别创建RDD、DataFrame和临时表/视图； 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程>95分的学生人数 课程'P 阅读全文
posted @ 2022-05-26 11:10 小马blog 阅读(52) 评论(0) 推荐(0) 编辑
2022年5月26日
2022年5月11日
摘要：
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因# hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成MapReduce然后提交到集群上执行， 阅读全文
posted @ 2022-05-11 21:13 小马blog 阅读(47) 评论(0) 推荐(0) 编辑
2022年4月13日
摘要：
集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文
posted @ 2022-04-13 16:38 小马blog 阅读(24) 评论(0) 推荐(0) 编辑
2022年4月6日
摘要：
一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词f 阅读全文
posted @ 2022-04-06 16:55 小马blog 阅读(30) 评论(0) 推荐(0) 编辑
2022年3月19日
摘要：
一、 RDD创建 从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合（列表）创建RDD输入列表 字符串 numpy生成数组 二、 RDD操作 转换操作 转换操作 filter(func)显式定义函数lambda map( 阅读全文
posted @ 2022-03-19 21:45 小马blog 阅读(38) 评论(0) 推荐(0) 编辑
2022年3月12日
摘要：
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系： Master：负责应用的资源管理，根据应用的需要，向ResourceManager申请资源 Worker ：从节点，负责控制计算节点 阅读全文
posted @ 2022-03-12 08:21 小马blog 阅读(56) 评论(0) 推荐(0) 编辑
2022年3月3日
摘要：
一、安装Spark 1.检查基础环境hadoop,jdk 2.下载spark3.解压，文件夹重命名、权限4.配置文件 5.环境变量 6.试运行Python代码 二、Python编程练习：英文文本的词频统计 1.准备文本文件 2.代码 3.结果处理 阅读全文
posted @ 2022-03-03 15:50 小马blog 阅读(37) 评论(0) 推荐(0) 编辑
2022年2月28日
摘要：
1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1.HDFS: HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件上的分布式文件系统。 除具备其它分布式文件系统相同特性外， 阅读全文
posted @ 2022-02-28 11:11 小马blog 阅读(58) 评论(0) 推荐(0) 编辑