一个人的爱情

摘要： 5.RDD操作综合实例：https://www.cnblogs.com/LonelyCupid/p/16349325.html 忘记截止日期 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1.准备文件 （2）上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词f 阅读全文

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 原因： 由于关系数据库已经很流行，但关系数据库却跟不上大数据时代的脚步，满足不了客户需求。首先，用户需要从不同数据源执行各种操作，包括结构化和非结构化数据，其次用户需要执行高级分析，臂如机器学习和图像处理等。从实际大数据应用 阅读全文

摘要： union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 三、综合练习：学生课程分数 持久化 scm.cache() 总共有多少 阅读全文

摘要： 一、 RDD创建 环境启动、文件准备： 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 不同语句： 3.通过并行集合（列表）创建RDD ps:不知为何会存在一定乱序 二、 RDD操作 1.转换操作 1.filter： 2.map: 3.flatMap: 4.groupByK 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1.Spark Core的基本情况，以下总结一下Spark内核架构： (1).提供了有向无环图（DAG）的分布式并行计算框架，并提供Cache机制来支持多次迭代计算或者数据共享，大大减 阅读全文

摘要： 一、安装Spark 检查基础环境hadoop,jdk 下载spark 曾经下载过，已完成 解压，文件夹重命名、权限 曾经已完成 配置文件 vim /usr/local/spark/conf/spark-env.sh 环境变量 vim ~/.bashrc 试运行Python代码 二、Python编程练 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 答： （1）HDFS 分布式文件系统 Hadoop分布式文件系统HDFS是针对谷歌分布式文件系统（Google File System,GFS）的开源实现，它是Hadoop两大核心组成部分之一，提供了在 阅读全文