摘要：
作业7补交 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 答：hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写 阅读全文
posted @ 2022-06-01 10:17
谢林展
阅读(71)
评论(0)
推荐(0)
摘要：
总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程>95分的学生人数 课程'Python'有多少个100分？ Tom不及格的课程数？ Tom的成绩按分数大小排序。 Tom选修了哪几门课？ Tom的平均分。 'OperatingSystem'不及格人 阅读全文
posted @ 2022-05-27 20:13
谢林展
阅读(30)
评论(0)
推荐(0)
摘要：
准备文件,上传到hdfs上 读文件创建RDD 分词 排除大小写，标点符号 统计词频 排序 输出到文件 查看结果 B.一句话实现 二、TOP值 将文件传上hdfs 对文件进行分词、去标点操作 将金额映射成键值对，注意values值为int类型 对键值对进行累加统计、排序 输出文件 查看结果 最大支付额 阅读全文
posted @ 2022-04-06 18:08
谢林展
阅读(18)
评论(0)
推荐(0)
摘要：
准备文件,上传到hdfs上 读文件创建RDD 分词 排除大小写，标点符号 统计词频 排序 输出到文件 查看结果 B.一句话实现 阅读全文
posted @ 2022-04-06 00:57
谢林展
阅读(38)
评论(0)
推荐(0)
摘要：
1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 1.转换操作 （1）filter(func) （2）map(func) (3)f 阅读全文
posted @ 2022-03-25 16:35
谢林展
阅读(36)
评论(0)
推荐(0)
摘要：
1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 1.转换操作 （1）filter(func) （2）map(func) 行动操作 阅读全文
posted @ 2022-03-22 15:39
谢林展
阅读(47)
评论(0)
推荐(0)
摘要：
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统主要包含Spark Core、Spark SQL、Spark Streaming、MLlib、GraphX以及独立调度器 Spark Core：Spark核心组件，它 阅读全文
posted @ 2022-03-14 17:01
谢林展
阅读(97)
评论(0)
推荐(0)
摘要：
一、安装Spark 1.检查基础环境hadoop,jdk 2.配置文件、 环境变量 #配置环境 vim /usr/local/spark/conf/spark-env.sh # 修改环境变量 vim ~/.bashrc # 生效 source ~/.bashrc 3.试运行python代码 二、Py 阅读全文
posted @ 2022-03-08 02:06
谢林展
阅读(20)
评论(0)
推荐(0)
摘要：
1.HDFS Hadoop分布式文件系统HDFS是针对谷歌分布式文件系统的开源实现，两大核心组成部分之一，在廉价服务器集群中可以提供大规模分布式文件存储的能力。 并且其拥有容错能力，兼容廉价的硬件设备可以以较低的成本实现大流量和大数据量的读写。 HDFS集群包括一个名称节点和若干个数据节点。负责管理 阅读全文
posted @ 2022-03-02 08:58
谢林展
阅读(58)
评论(0)
推荐(0)
浙公网安备 33010602011771号