03 2021 档案

RDD编程练习
摘要：一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文
posted @ 2021-03-29 21:46 Pandcon 阅读(42) 评论(0) 推荐(0)
Spark RDD编程基础
摘要：1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 阅读全文
posted @ 2021-03-26 19:12 Pandcon 阅读(35) 评论(0) 推荐(0)
Spark架构与运行Spark架构与运行流程
摘要：1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统。 Spark生态圈也称为BDAS（伯克利数据分析栈），是伯克利APMLab实验室打造的，力图在算法（Algorithms）、机器（Machines）、人（People）之间通过大规模集成来展现大数据应用的一个平台 阅读全文
posted @ 2021-03-12 17:45 Pandcon 阅读(123) 评论(0) 推荐(0)
大数据概述
摘要：1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 HDFSHDFS（Hadoop分布式文件系统）源自于Google的GFS论文，发表于2003年10月，HDFS是GFS的实现版。H 阅读全文
posted @ 2021-03-01 22:55 Pandcon 阅读(61) 评论(0) 推荐(0)