ljt博客

摘要： 网盘下载sc.txt文件，分别创建RDD、DataFrame和临时表/视图； 1.创建RDD 2. 并转换得到DataFrame 3.注册为临时表 4.导包 分别用RDD操作、DataFrame操作和spark.sql执行SQL语句实现以下数据分析: 1.总共有多少学生？ 2.总共开设了多少门课程？ 阅读全文

摘要： 1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展 因为关系数据库已经很流行，而且关系数据库在大数据时代已经不能满足要求。首先，用户需要从不同数据源执行各种操作，包括结构化、半结构化和非结构化数据。其次，用户需要执行高级分析，比如机器学习和图像处理。在实际大数据应用中，经常需要融 阅读全文

摘要： 集合运算练习union()， intersection()，subtract(), cartesian() 内连接与外连接join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin()多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习：学生课 阅读全文

摘要： 一、词频统计 A. 分步骤实现 1.准备文件 ①准备的小说或长篇新闻稿 ②上传到hdfs上 2.读文件创建RDD 3.分词 4. ①排除大小写lower()，map() ②标点符号re.split(pattern,str)，flatMap(), ③停用词,可网盘下载stopwords.txt,fil 阅读全文

摘要： 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD exit（）退出上一步后启动hdfs上传文件且查看文件 进入spark加载刚刚传入hdfs的文件 不使用HDFS了，记得停止hdfs 3.通过并行集合（列表）创建RDD 输入列表字符串numpy生成数组 二、 阅读全文

摘要： 1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能 （1）Spark Core：Spark核心组件，它实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(R 阅读全文

摘要： 1.基础环境--环境准备检查 2.运行pyspark 3.python代码测试 4.python实现英文文本的词频统计 ①通过终端命令创建文件，一个放英文内容以是python代码文件 python代码如下：说明（（1）英文中同时存在大小写，会干扰词频统计的结果，所以应将所有的英文字母转化为大写或小写 阅读全文

摘要： 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系，以图呈现并加以文字描述 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。具有可靠、高效、可伸缩的特点。 Hadoop 的核心是 HDFS 和 Mapreduce，HDFS 还包括 YARN。 1，HDFS（hadoo 阅读全文