会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
不知道我什么名字
博客园
首页
新随笔
联系
管理
订阅
2022年5月11日
8. SparkSQL综合作业
摘要: 网盘下载sc.txt文件,创建RDD,并转换得到DataFrame。 分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生? 开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程>95分的学生人数 有多少个100分? Tom选修
阅读全文
posted @ 2022-05-11 15:15 不知道我什么名字
阅读(88)
评论(0)
推荐(0)
编辑
2022年4月27日
7. Spark SQL
摘要: 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 SparkSQL出现的原因 hive是shark的前身,shark是sparkSQL的前身,sparkSQL产生的根本原因是其完全脱离了hive的限制,hive是hive SQL转换成MapReduce然后提交到集群上执行,大
阅读全文
posted @ 2022-04-27 14:42 不知道我什么名字
阅读(89)
评论(0)
推荐(0)
编辑
2022年4月13日
6. RDD综合练习:更丰富的操作
摘要: 集合运算练习 union(), intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 三、综合练习:学生课程分数 网盘下载sc.txt文件,通
阅读全文
posted @ 2022-04-13 15:21 不知道我什么名字
阅读(53)
评论(0)
推荐(0)
编辑
2022年4月6日
5.RDD操作综合实例
摘要: 一、词频统计 A. 分步骤实现 1. 准备文件,下载小说或长篇新闻稿 2. 上传到hdfs上 3. 读文件创建RDD 4. 分词 5. 排除大小写lower(),map() 6. 标点符号re.split(pattern,str),flatMap() 识别标点符号并替换成空白值 清除空白值 7. 停
阅读全文
posted @ 2022-04-06 15:20 不知道我什么名字
阅读(66)
评论(0)
推荐(0)
编辑
2022年3月16日
4.RDD操作
摘要: 一、 RDD创建 1. 从本地文件系统中加载数据创建RDD 2. 从HDFS加载数据 创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3. 通过并行集合(列表)创建RDD 输入列表 字符串 生成数组 二、 RDD操作 1. 转换操作 map(func) 显式定义函数 lambda函
阅读全文
posted @ 2022-03-16 15:19 不知道我什么名字
阅读(61)
评论(0)
推荐(0)
编辑
2022年3月9日
3.Spark设计与运行原理,基本操作
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark Core 实现Spark的基本功能,包括任务调度、内存管理、错误恢复、与存储系统交互等,以及RDD(Resilient Distributed Dataset)API
阅读全文
posted @ 2022-03-09 15:20 不知道我什么名字
阅读(79)
评论(0)
推荐(0)
编辑
2022年3月2日
2.安装Spark与Python练习
摘要: 一、安装Spark 1. 检查基础环境hadoop,jdk 2. 配置文件 3. 配置环境变量 用 gedit ~/.bashrc 打开配置文件 插入以下代码 然后,用 source ~/.bashrc 使刚配置环境变量生效 4. 试运行Python代码 先运行spark 然后用python命令测试
阅读全文
posted @ 2022-03-02 14:53 不知道我什么名字
阅读(59)
评论(0)
推荐(0)
编辑
2022年2月25日
1.大数据概述
摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 (1),HDFS是hadoop的分布式文件系统,用于数据的存储和管理。 (2),mapreduce是分布式计算框架,用于处理和计算大量的数据。 (3), hive是基于hadoop的数据仓库,用于将sq
阅读全文
posted @ 2022-02-25 11:12 不知道我什么名字
阅读(86)
评论(0)
推荐(0)
编辑
公告