2021年3月28日
Spark RDD编程基础
摘要： 准备文本文件 从文件创建RDD lines=sc.textFile() 筛选出含某个单词的行 lines.filter() lambda 参数：条件表达式 生成单词的列表 从列表创建RDD words=sc.parallelize() 筛选出长度大于10 的单词 words.filter() 阅读全文
posted @ 2021-03-28 19:19 红逍 阅读(42) 评论(0) 推荐(0)
2021年3月2日
大数据概述
摘要： 一.用图表描述Hadoop生态系统的各个组件及其关系。 Hadoop生态系统除了核心的HDFS和MapReduce以外，Hadoop生态系统还包括Zookeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件。 (1).HDFS:具有处理超大数据、流式 阅读全文
posted @ 2021-03-02 18:32 红逍 阅读(143) 评论(0) 推荐(0)