摘要： 作业名：6. RDD综合练习：更丰富的操作 链接：6. RDD综合练习：更丰富的操作 - HI-。 - 博客园 (cnblogs.com) 原因：由于当时未能完全理解内连接与外连接，导致延迟提交。 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文

摘要： 1. 请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD)，Spark SQL作为分布式SQL查询引 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1.准备文件 下载小说或长篇新闻稿 2.上传到hdf 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 加载 停止hdfs 3.通过并行集合（列表）创建RDD 输入列表、字符串、生成数组 二、 RDD操作 转换操作 1. filter(func)传入lambda匿名函数显式定义函数 2.map(func) 显式 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark Core Spark Core是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供如 阅读全文