摘要：
1. 为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的 阅读全文
摘要：
1.Spark SQL出现的 原因是什么? 目前关系数据库在大数据时代已经不能满足各种新增的用户需求。Spark SQL的出现，填补了这个鸿沟。首先，Spark SQL可以提供DataFrame API，可以对内部和外部各种数据源执行各种关系操作；其次，可以支持大量的数据源和数据分析算法，组合使用S 阅读全文
摘要：
一、词频统计： #1.读文本文件生成RDD lines #2.将一行一行的文本分割成单词 words flatmap() #3.全部转换为小写 lower() #4.去掉长度小于3的单词 filter() #5.去掉停用词 #6.转换成键值对 map() 7.统计词频 reduceByKey() 二 阅读全文
摘要：
07 Spark RDD编程 综合实例 英文词频统计 用Pyspark自主实现词频统计过程。 hadoop@dblab-VirtualBox:~$ pysparkPython 3.5.1+ (default, Mar 30 2016, 22:46:26)[GCC 5.3.1 20160330] on 阅读全文
摘要：
07 从RDD创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 3.1 利用反射机制推断RDD模式 sc创 阅读全文