彭翠清

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 spark产生：为了替代Mapreduce，解决Mapreduce计算短板 随着Spark的发展，Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian(） 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、 持久化  阅读全文

摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs 读文件创建RDD 分词 排除大小写lower()，map()标点符号re.split(pattern,str)，flatMap(),停用词,可网盘下载stopwords.txt,filter()长度小于2的词filter 阅读全文

摘要： 一、 RDD创建 二、 RDD操作 1、filter(func) 2、map(func) a字符串分词: b数字加100: c客串加固定前缀: 3、flatMap(func) a分词: b单词映射成键值对: 4、reduceByKey() a统计词频，累加： b乘法规则: 5、 groupByKey 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统图： 各组件的功能： Spark Core： Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark C 阅读全文

摘要： 一、安装Spark 1、检查基础环境hadoop,jdk 2、下载spark 3、环境变量 4、试运行Python代码 二、Python编程练习：英文文本的词频统计 准备文本文件（f1.txt）： Carter's devotion to her ancestor is about more tha 阅读全文

摘要： 1、 主要的核心组件有HDFS和MapReduce，其他还包括ZooKeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件 HDFS：HDFS具有很好的容错能力，并且兼容廉价的硬件设备，因此，可以以较低的成本利用现有机器实现大流量和大数据量的读写。M 阅读全文