落雨澄

摘要： 综合练习：学生课程分数 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程>95分的学生人数 课 阅读全文

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Spark 1.0版本开始，推出了Spark SQL。其实最早使用的，都是Hadoop自己的Hive查询引擎；但是后来Spark提供了Shark；再后来Shark被淘汰，推出了Spark SQL。Shark的性能比Hive就 阅读全文

摘要： 一、集合运算练习 union()， intersection()，subtract(), cartesian() 二、内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综 阅读全文

摘要： A.分步骤实现 1.准备文本文件 2.读文件 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str)，flatMap() 停用词,可网盘下载stopwords.txt,filter() 长度小于2的词filter() 5.统计 映射成键值对 6.排序 阅读全文

摘要： 一、RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 3.通过并行集合（列表）创建RDD 二、RDD操作 1.filter(func) 2.map(func） 3.flatMap(func) 4.reduceByKey() 5.groupByKey() 6.sor 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统以Spark Core 为核心，能够读取传统文件（如文本文件）、HDFS、Amazon S3、Alluxio 和NoSQL 等数据源，利用Standalone、YAR 阅读全文

摘要： 1.安装JDK与Haddop平台镜像文件 2.spark的安装和下载 3.配置spark的环境变量 4.运行spark 5.python实现英文文本的词频统计 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点 Hadoop的核心组件是HDFS、MapReduce。随着处理任务不同，各种组件相继出现，丰富Hadoop生态圈，目 阅读全文