川久保玲球

摘要： ## 综合练习：学生课程分数 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用**RDD操作**、**DataFrame操作**和**spark.sql执行SQL语句**实现以下数据分析： ## 预处理 （1）RDD：生成RDD ```shellsc_stu = sc.t 阅读全文

摘要： 1.请分析sparkSQL出现的原因，并简述SparkSQL的起源和发展 1.1 出现的原因# 1.关系数据库已经很流行 2.关系数据库在大数据时代已经不能满足要求•首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据。其次，用户需要执行高级分析，比如机器学习和图像处理•在实际 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 综合练习：学生 阅读全文

摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 >>> words = lines.flatMap(lambda a:a.split()) >>> words.collect() （1）排除大小写lower()，map() >>> words 阅读全文

摘要： 一、 RDD创建 1. 从本地文件系统中加载数据创建RDD 2. 从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 二、 RDD操作 转换操作 1.转换操作 1.fillter(func) 显式定义函数 lambda函数 2. map(func) 显式定义函数 la 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 （1）Spark Core：Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集( 阅读全文

摘要： 一、安装Spark 检查基础环境hadoop,jdk 下载spark 解压，文件夹重命名、权限 配置文件 环境变量 试运行Python代码 1.检查基础环境hadoop,jdk 结果： 2.下载spark 3.解压，文件重命名，权限 $ cd ~/下载$ sudo tar -zxf ~/下载/spa 阅读全文

摘要： 1. 列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1.HDFS 分布式文件系统 Hadoop分布式文件系统HDFS是针对谷歌分布式文件系统（Google File System,GFS）的开源实现，它是Hadoop两大核心组成部分之一，提供了在廉价服 阅读全文