摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 Shark提供了类似于Hive的功能，与Hive不同的是，Shark把SQL语句转换成Spark作业，而不是MAPreduce作业。为了实现Hive的兼容，Shark重用了Hive中的Hive SQL解析、逻辑执行计划翻译、 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 三、综合练习：学生课程分数 网盘下载sc.txt文件，通 阅读全文

摘要： 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 hdfs dfs -put /home/hadoop/5case.txt ./5case 读文件创建RDD lines = sc.textFile("/user/hadoop/5case/5case.txt") 分词 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 通过并行集合（列表）创建RDD 输入列表 字符串 numpy生成数组 二、 RDD操作 转换操作 filter(func) lambda函数 显式定义函数 m 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark的生态系统主要包含了Spark Core、Spark SQL、Spark Streaming、Structured Streaming、MLlib、Graphx等组件。 Sp 阅读全文

摘要： 一、安装Spark 1.检查基础环境hadoop,jdk 图一 Hadoop版本信息 图二 Hadoop主节点master节点jps 图三 Hadoop节点slave1 jps 图四 Java版本 2.下载spark 3.解压，文件夹重命名、权限 4.配置文件 5.环境变量 6.试运行Python代 阅读全文

摘要： 一、列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 Hadoop是一个由各个部件的构成的大数据分析处理的分布式框架软件。 其中，主要的核心是HDFS（Hadoop分布式文件系统）、mapreduce（分布式计算框架）、yarn（资源管理任务调度器）加上数 阅读全文