2021年3月26日
03 Spark RDD编程基础
摘要： 1.准备文本文件 从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter() lambda 参数：条件表达式 2. 生成单词的列表 从列表创建RDD words=sc.parallelize() 筛选出长度大于10 的单词 words.filter( 阅读全文
posted @ 2021-03-26 21:23 ohbigshit 阅读(40) 评论(0) 推荐(0) 编辑
2021年3月17日
二、Spark架构与运行流程
摘要： 1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S 阅读全文
posted @ 2021-03-17 14:37 ohbigshit 阅读(20) 评论(0) 推荐(0) 编辑
2021年3月2日
大数据概述
摘要： 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 阅读全文
posted @ 2021-03-02 21:46 ohbigshit 阅读(37) 评论(0) 推荐(0) 编辑