lokxlok

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 随着 Spark 的不断发展， Shark 对 Hive 的重度依赖体现在架构上的瓶颈越来越突出。一方面， Hive 的语法解析和查询优化等模块本身针对的是 MapReduce ，限制了在 Spark 系统上的深度优化和维护 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 三、综合练习：学生课程分数 网盘下载sc.txt文件，通 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1.准备文件 （1）下载小说或长篇新闻稿 （2）上传到hdfs上 2.读文件创建RDD 3.分词 4.（1）标点符号re.split(pattern,str)，flatMap(), （2）排除大小写lower()，map() （3）停用词,可网盘下载stopwords 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 3.通过并行集合（列表）创建RDD 二、 RDD操作 1.转换操作 （1）filter(func) lambda函数 显式定义函数 （2）map(func) 显式定义函数 lambda函数 例1： 例2： 字 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 （1）Spark Core：Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集( 阅读全文

摘要： 一、安装Spark 1.配置文件（配置Spark的classpath） 2.配置环境变量 3.运行Python代码 二、词频统计 运行结果： 源码： 1 import string #导入字符串模块 2 3 hist = {} #创建一个空字典，放词频与单词，无序排列 4 data = [] #创建 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop 的核心是 HDFS 和 Mapreduce，HDFS 还包括 YARN。 1，HDFS（hado 阅读全文