鲍bee

摘要： ## 导入本次实验所需要用到的包from pyspark.sql import Rowfrom pyspark.sql.types import IntegerType, StringType, StructField, StructTypeimport pyspark.sql.functions 阅读全文

摘要： 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因：为了替代Mapreduce，解决Mapreduce计算短板。 SparkSQL的起源与发展：Hadoop刚开始出来的时候，使用的是hadoop自带的分布式计算系统MapReduce，但是MapRed 阅读全文

摘要： 一、集合运算练习 union()， intersection()，subtract(), cartesian() 二、内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综 阅读全文

摘要： 一、准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 二、读文件创建RDD 输入pyspark 三、分词 四、排除大小写lower()，map()，标点符号re.split(pattern,str)，flatMap(),，停用词,可网盘下载stopwords.txt,filter()，，长度 阅读全文

摘要： 5.RDD操作综合实例 一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 hdfs dfs -put /home/hadoop/5case.txt ./5case 读文件创建RDD lines = sc.textFile("/user/hadoop/5case/5ca 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark CoreSpark Core是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供如f 阅读全文

摘要： 一、安装Spark 1.检查基础环境hadoop, 2.下载spark 3.解压，文件夹重命名、权限 4.配置文件 5.环境变量 6.试运行Python代码 二、Python编程练习：英文文本的词频统计 准备文本文件 读文件 预处理：大小写，标点符号，停用词 分词 统计每个单词出现的次数 按词频大小 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述。 （1）HDFS——分布式文件系统 除具备其它分布式文件系统相同特性外，还有自己的特性：①高容错性：认为硬件总是不可靠的 ②高吞吐量：为大量数据访问的应用提供高吞吐量支持 ③大文件存储：支持存储TB-PB 阅读全文