会员
周边
新闻
博问
AI培训
云市场
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
JollyT
导航
博客园
首页
新随笔
联系
订阅
管理
公告
2022年5月10日
7.Spark SQL
摘要: 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 原因:关系数据库库在大数据时代已经不能满足要求,SparkSQL的出现,首先可以提供DataFrame API,可以对内部和外部各种数据执行各种关系型操作。其次,可以支持大数据中的大量数据源和数据分析算法。SparkSQL可
阅读全文
posted @ 2022-05-10 20:22 JollyT
阅读(43)
评论(0)
推荐(0)
编辑
2022年4月20日
6. RDD综合练习:更丰富的操作
摘要: 集合运算练习 union(), intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件,签到日期汇总,出勤次数统计 三、综合练习:
阅读全文
posted @ 2022-04-20 15:04 JollyT
阅读(21)
评论(0)
推荐(0)
编辑
2022年4月12日
5.RDD操作综合实例
摘要: 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower(),map()标点符号re.split(pattern,str),flatMap(),停用词,可网盘下载stopwords.txt,filter(),长度小于2的词filt
阅读全文
posted @ 2022-04-12 11:42 JollyT
阅读(49)
评论(0)
推荐(0)
编辑
2022年3月28日
4.RDD操作
摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs上传文件查看文件加载停止hdfs 通过并行集合(列表)创建RDD输入列表、字符串、生成数组 一、 1.从本地文件系统中加载数据创建RDD: 2.启动HDFS: 上传文件并查看: 停止HDFS: 3.通过
阅读全文
posted @ 2022-03-28 00:48 JollyT
阅读(9)
评论(0)
推荐(0)
编辑
2022年3月13日
3.Spark设计与运行原理,基本操作
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark的生态系统主要包含了Spark Core、Spark SQL、Spark Streaming、MLLib和GraphX等组件。 Spark Core:包含Spark的基本功能
阅读全文
posted @ 2022-03-13 10:44 JollyT
阅读(30)
评论(0)
推荐(0)
编辑
2022年3月5日
2.安装Spark与Python练习
摘要: 一、安装Spark 检查基础环境hadoop,jdk 下载spark 解压,文件夹重命名、权限 配置文件 环境变量 试运行Python代码 步骤1结果截图: 步骤3结果截图: 步骤4结果截图: 步骤5结果截图: 步骤6结果截图: 二、Python编程练习:英文文本的词频统计 准备文本文件 读文件 预
阅读全文
posted @ 2022-03-05 22:29 JollyT
阅读(17)
评论(0)
推荐(0)
编辑
2022年2月24日
1.大数据概述
摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述 各个组件的功能: HDFS:分布式文件系统 MapReduce:分布式并行编程模型 YARN:资源管理和调度器 Tez:运行在YARN之上的下一代Hadoop查询处理框架 Hive:Hadoop上的数据仓
阅读全文
posted @ 2022-02-24 00:21 JollyT
阅读(47)
评论(0)
推荐(0)
编辑