是你die

摘要： 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析 1.总共有多少学生？ RDD： DataFrame操作 park.sql执行SQL语句 2.总共开设了多少门课程？ RDD： DataFrame操作 park.sql执行SQL语句 3.每门课程>95分的学生 阅读全文

摘要： 1.请分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生，它是当时唯一运行在Hadoop上的SQL-on-Hadoop工具。但是MapReduce计算过程 阅读全文

摘要： 集合运算练习 union()， intersection()，subtract(), cartesian() rdd1.union(rdd2).collect() rdd1.intersection(rdd2).collect() rdd1.subtract(rdd2).collect() rdd1 阅读全文

摘要： 一、准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 二、读文件创建RDD 输入pyspark 三、分词 四、排除大小写lower()，map()，标点符号re.split(pattern,str)，flatMap(),，停用词,可网盘下载stopwords.txt,filter()，，长度 阅读全文

摘要： 一.RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 2.1启动hdfs 2.2上传文件 2.3查看文件 2.4加载 2.5停止hdfs 3.通过并行集合（列表）创建RDD 输入列表字符串numpy生成数组 二、 RDD操作 转换操作 1.filter(func) 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 包括集群资源管理器（Cluster Manager）、多个运行作业任务的工作结点（Worker Node）、每个应用的任务控制结点（Driver）和每个工作结点上负责具体任务的执行进程 阅读全文

摘要： 一、安装Spark 1.检查基础环境的hadoop 2.下载，解压文件 sudo tar -zxvf ./ 解压./后的文件 3.配置文件 编辑该配置文件，在文件最后面加上如下一行内容： export SPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hado 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述 （1）HDFS（分布式文件系统）HDFS是整个hadoop体系的基础，负责数据的存储与管理。HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。 阅读全文