会员
众包
新闻
博问
闪存
赞助商
HarmonyOS
Chat2DB
所有博客
当前博客
我的博客
我的园子
账号设置
会员中心
简洁模式
...
退出登录
注册
登录
郑坚林
博客园
首页
新随笔
联系
订阅
管理
2022年5月27日
8. SparkSQL综合作业
摘要: 综合练习:学生课程分数 总共有多少学生? 总共开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程>95分的学生人数 课程'Python'有多少个100分? Tom不及格的课程数? Tom的成绩按分数大小排序。 Tom选修了哪几门课?
阅读全文
posted @ 2022-05-27 17:14 郑坚林
阅读(46)
评论(0)
推荐(0)
2022年5月11日
7.Spark SQL
摘要: 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 为了将SQL语句转为Spark应用程序,简化编程,Spark团队开发了Shark(Hive on Spark)。但由于Shark完全按照Hive设计,难以添加新的优化;并且,Spark线程级别并行,Mapreduce进程级别并
阅读全文
posted @ 2022-05-11 20:26 郑坚林
阅读(44)
评论(0)
推荐(0)
2022年4月20日
6. RDD综合练习:更丰富的操作
摘要: 持久化 scm.cache() 总共有多少学生?map(), distinct(), count() 开设了多少门课程? 每个学生选修了多少门课?map(), countByKey() 每门课程有多少个学生选?map(), countByValue() 多少个100分? Tom选修了几门课?每门课多
阅读全文
posted @ 2022-04-20 19:33 郑坚林
阅读(15)
评论(0)
推荐(0)
2022年4月6日
5.RDD操作综合实例
摘要: 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower(),map()标点符号re.split(pattern,str),flatMap(),停用词,可网盘下载stopwords.txt,filter(),长度小于2的词filt
阅读全文
posted @ 2022-04-06 17:20 郑坚林
阅读(13)
评论(0)
推荐(0)
2022年3月22日
4.RDD操作
摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合(列表)创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 map(func)显式定义函数lambda函数 行动操作 fo
阅读全文
posted @ 2022-03-22 14:42 郑坚林
阅读(19)
评论(0)
推荐(0)
2022年3月14日
3.Spark设计与运行原理,基本操作
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 2.请详细阐述Spark的几个主要概念及相互关系: Master, Worker; RDD,DAG; Application, job,stage,task; driver,execu
阅读全文
posted @ 2022-03-14 17:10 郑坚林
阅读(34)
评论(0)
推荐(0)
2022年3月5日
2.安装Spark与Python练习
摘要: 一、安装Spark 1.检查基础环境hadoop,jdk 2.配置文件 3.环境变量 4.运行python代码 二、Python编程练习:英文文本的词频统计 1.准备文本 2.读文件 预处理:大小写,标点符号,停用词分词 统计每个单词出现的次数按词频大小排序结果写文件 with open("data
阅读全文
posted @ 2022-03-05 20:48 郑坚林
阅读(27)
评论(0)
推荐(0)
2022年2月23日
1.大数据概述
摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 生态系统,顾名思义就是很多组件组成的一个生态链,经过多年的发展,Hadoop生态系统不断完善和成熟,目前已经包括了多个子项目,除了核心的HDFS和MapReduce以外,Hadoop生态系统还包括要Zo
阅读全文
posted @ 2022-02-23 11:12 郑坚林
阅读(76)
评论(0)
推荐(0)
公告