摘要： 综合练习：学生课程分数 网盘下载sc.txt文件，分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程>95分的学生人数 课程'Python'有多少个100 阅读全文

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL的出现，解决了对不同数据源和不同数据的操作，例如结构化和非结构化数据。还有可以支持融合关系查询和复杂分析算法。 SparkSQL的前身是Shark，Shark中提供了类似于Hive的功能。但是Shark设计中 阅读全文

摘要： 集合运算练习 union() intersection() subtract() cartesian() 内连接与外连接 join() leftOuterJoin() rightOuterJoin() fullOuterJoin() 三、综合练习：学生课程分数 网盘下载sc.txt文件，通过RDD操 阅读全文

摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于2的词filt 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合（列表）创建RDD输入列表字符串numpy生成数组 二、 RDD操作 转换操作 filter(func)显式定义函数lambda函数 map(fun 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1 . Spark Core：Spark的核心组件，其操作的数据对象是RDD（弹性分布式数据集）图中在Spark Core上面的四个组件都依赖于Spark Core，可以简单认为Spa 阅读全文

摘要： 一、安装Spark 二、Python编程练习：英文文本的词频统计 # 1导入模块 # 导入字符串模块 import string # 2读取文件，并分词 list_dict = {} # 创建一个空字典，放词频与单词，无序排列 data = [] # 创建一个空列表，放词频与单词，有序：从多到少 f 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 2.对比Hadoop与Spark的优缺点。 Hadoop的特性： 高可靠性、高效性、高可拓展性、高容错性、成本低、运行在Linux操作系统中、支持多种语言 Hadoop的缺点： （1）表达能力有限。计算 阅读全文