摘要： 综合练习：学生课程分数 网盘下载sc.txt文件，创建RDD，并转换得到DataFrame。 分别用DataFrame操作和spark.sql执行SQL语句实现以下数据分析: RDD创建DataFrame操作 1.总共有多少学生？ 2.开设了多少门课程？ 3.每个学生选修了多少门课？ 4.每门课程有 阅读全文

摘要： 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因: SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、学生课程分 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 5.标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filte 阅读全文

摘要： 一、RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD启动hdfs 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表 字符串 生成数组 二、 RDD操作 转换操作 1.map(func)显式定义函数lambda函数 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark的生态系统主要包含如下： Spark Core：Spark Core包含Spark最基础和最核心的功能，如内存计算、任务调度、部署模式、故障恢复、存储管理等，主要面向批数据处 阅读全文

摘要： 一、安装Spark 1.检查基础环境hadoop.jdk java -version #查看jdk的安装以及版本 jps #查看当前环境的节点 start-all.sh #开启hadoop，因为我在本次实验中使用的是分布式模式，所以节点分别在master上和slave1，同时因为在配置环境变量中进行 阅读全文

摘要： 一、列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 图1 Hadoop生态圈 1、HDFS（分布式文件系统） HDFS是Hadoop组件的核心之一，是整个hadoop体系的基础，是用来负责数据的存储与管理功能的。 HDFS是高度容错设计和适合在低成本的硬 阅读全文