AKSS12345

摘要： 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数：条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 3. 阅读全文

摘要： 02 Spark架构与运行流程 1. Spark已打造出结构一体化、功能多样化的大数据生态系统，请简述Spark生态系统。 spark生态系统称为BDAS（伯努利数据分析栈），本文旨在简单介绍Spark生态系统中一些常用的组件，让大家对Spark生态系统（BDAS）有个简单的了解，知道什么组件能做什 阅读全文

摘要： 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 阅读全文