摘要： 未交原因：忘记交了 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 spark出现的目的是为了替代Mapreduce，解决Mapreduce计算短板。我们知道最初的计算框架叫 mapreduce，他的缺点是计算速度慢，还有一个就是代码比较麻烦，所以有了 hive；hive 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join() leftOuterJoin() rightOuterJoin() fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习：学生课 阅读全文

摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()，长度小于2的词fil 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD启动hdfs上传文件查看文件停止hdfs 通过并行集合（列表）创建RDD输入列表字符串numpy生成数组 二、 RDD操作 转换操作 filter(func)显式定义函数lambda函数 map(func)显式定义 阅读全文

摘要： 1. Spark Core 是整个BDAS 生态系统的核心组件，是一个分布式大数据处理框架。 Spark Streaming 是一个对实时数据流进行高吞吐、高容错的流式处理系统，可以处理流数据。 Spark SQL 的前身是Shark，Shark 即Hive on Spark即数据查询及调用语言。 阅读全文

摘要： 一、安装Spark 检查基础环境hadoop,jdk spark配置 环境变量 试运行Python代码 def load_file(word_freq): # 读文件到缓冲区 try: # 打开文件 f = open(intext, 'r') except IOError as s: print(s 阅读全文

摘要： 1.Hadoop生态的各个组件及其功能 （1）HDFS（hadoop分布式文件系统）是hadoop体系中数据存储管理的基础。他是一个高度容错的系统，能检测和应对硬件故障。 （2）mapreduce（分布式计算框架）是一种计算模型，用于处理大数据量的计算。 （3） hive（基于hadoop的数据仓库 阅读全文