摘要：
1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 原因： 关系数据库已经很流行 关系数据库在大数据时代已经不能满足要求，首先，用户需要从不同数据源执行各种操作，包括结构化和非结构化数据，其次用户需要执行高级分析，比如机器学习和图像处理 从实际大数据应用中，经常需要融合关系查 阅读全文
摘要：
集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文
摘要：
准备文件 下载小说或长篇新闻稿 http://www.kekenet.com/read/202203/653673.shtml 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载 阅读全文
摘要：
一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 停止hdfs 3.通过并行集合（列表）创建RDD 二、 RDD操作 转换操作 1.filter(func) 传入lambda匿名函数 显式定义函数 2.map(func) 显式定义函数 lambda函数 1. 阅读全文
摘要：
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core：Spark的核心组件，包含任务调度、内存管理、错误恢复、与存储系统交互模块。Spark Core中包含对弹性分布式数据集的API定义，RDD是只读的分区记录的集合 阅读全文
摘要：
一、安装Spark 1.检查基础环境hadoop,jdk 2.下载spark 在之前实验已下载安装 3.解压，重命名，权限 在之前实验已完成 4.配置文件 5.环境变量 6.试运行Python代码 二、Python编程练习：英文文本的词频统计 1.准备文本文件 2.读文件 path='/home/h 阅读全文