03 2021 档案

Spark RDD编程
摘要：1.准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2.生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3. 筛选 阅读全文
posted @ 2021-03-27 22:19 Ling3 阅读(23) 评论(0) 推荐(0)
01 Spark架构与运行流程
摘要：1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS（Hadoop分布式文件系统）：HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬 阅读全文
posted @ 2021-03-13 22:31 Ling3 阅读(50) 评论(0) 推荐(0)