摘要： 综合练习：学生课程分数 网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图； 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 总共有多少学生？ 总共开设了多少门课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程> 阅读全文

摘要： 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 1.1.SparkSQL出现的原因 hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成 MapReduce然后提交到集群 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文

摘要： 5.RDD操作综合实例 一、词频统计 A. 分步骤实现 1.上传到hdfs上 2，读文件创建RDD 3.分词 4.排除大小写lower()，map() 5.标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于 阅读全文

摘要： 一、 RDD创建 从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD 启动hdfs 上传/查看文件 通过并行集合（列表）创建RDD输入列表字符串numpy生成数组 二、 RDD操作 转换操作 转换操作 filter(func)显式定义函数lambda函数 map(func)显式定义函数 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark CoreSpark Core是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供如f 阅读全文

摘要： 恢复内容开始 一、安装Spark 检查基础环境hadoop,jdk 下载spark 解压，文件夹重命名、权限 配置文件 环境变量 试运行Python代码 二、Python编程练习：英文文本的词频统计 准备文本文件 读文件 预处理：大小写，标点符号，停用词，分词 按词频大小排序，统计每个单词出现的次数 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 1.HDFS: HDFS(Hadoop Distributed File System)基于Google发布的GFS论文设计开发，运行在通用硬件上的分布式文件系统。 除具备其它分布式文件系统相同特性外， 阅读全文