yumus

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 因为关系数据库已经很流行，而且关系数据库在大数据时代已经不能满足要求。首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据。其次，用户需要执行高级分析，比如机器学习和图像处理。在实际大数据应用中，经常需 阅读全文

摘要： union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 三、综合练习：学生课程分数 网盘下载sc.txt文件，通过RDD操作实 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 2.读文件创建RDD 3、分词 4、排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,stopwords.txt,filter()， 长 阅读全文

摘要： 一、 RDD创建 1、从本地文件系统中加载数据创建RDD 2. 从HDFS加载数据 创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3. 通过并行集合（列表）创建RDD 输入列表 字符串 生成数组 二、 RDD操作 1. 转换操作 map(func) 显式定义函数 lambda函数 阅读全文

摘要： Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 答：Spark的设计遵循“一个软件栈满足不同应用场景”的理念，逐渐形成一套完整生态系统，既能够提供内存计算框架，也可以支持SQL即席查询、实时流式计算、机器学习和图计算等。Spark可以部 阅读全文

摘要： 一、安装Spark 1、检查基础环境hadoop,jdk 2.下载spark 原有3.解压，文件夹重命名、权限 原有4.配置文件 5.环境变量 6.试运行Python代码 二、Python编程练习：英文文本的词频统计 1.准备文本文件 2.代码 3.结果处理 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 2.对比Hadoop与Spark的优缺点。 一、实现原理的比较Hadoop和Spark都是并行计算，两者都是用MR模型进行计算 Hadoop一个作业称为一个Job，Job里面分为Map Task和Red 阅读全文