摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 因为关系数据库已经很流行，而且关系数据库在大数据时代已经不能满足要求。首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据。其次，用户需要执行高级分析，比如机器学习和图像处理。在实际大数据应用中，经常需 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 三、综合练习：学生课程分数 网盘下载sc.txt文件，通 阅读全文

摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于2的词filt 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合（列表）创建RDD输入列表字符串numpy生成数组 二、 RDD操作 转换操作 1.filter(func)显式定义函数lambda函数 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core:核心组件，分布式计算引擎。其实现了Spark的作业调度、内存管理、容错、与存储系统交互等基本功能,并针对弹性分布式数据集（RDD）提供了丰富的操作。 Spark 阅读全文

摘要： 一、安装Spark 1.检查基础环境hadoop,jdk 2.配置文件 3.配置环境变量 4.运行spark 5.运行spark 二、Python编程练习：英文文本的词频统计 1.准备文本文件 2.编写代码 3.运行结果 三、根据自己的编程习惯搭建编程环境 配置pycharm 运行 阅读全文