2022年5月17日
摘要: 总共有多少学生? 总共开设了多少门课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程>95分的学生人数 课程'Python'有多少个100分? Tom选修了几门课?每门课多少分? Tom的成绩按分数大小排序。 Tom选修了哪几门课? Tom的平均分。 'OperatingSyste 阅读全文
posted @ 2022-05-17 15:48 林华博 阅读(60) 评论(0) 推荐(0) 编辑
  2022年4月29日
摘要: 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 Hadoop刚开始出来的时候,使用的是hadoop自带的分布式计算系统MapReduce,但是MapReduce的使用难度较大,所以就开发了Hive,Hive编程用的是类SQL的HQL的语句,这样编程的难度就大大的降低了,H 阅读全文
posted @ 2022-04-29 16:06 林华博 阅读(42) 评论(0) 推荐(0) 编辑
  2022年4月20日
摘要: 集合运算练习 union(),intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件,签到日期汇总,出勤次数统计 综合练习:学生课 阅读全文
posted @ 2022-04-20 13:14 林华博 阅读(31) 评论(0) 推荐(0) 编辑
  2022年4月1日
摘要: 一、词频统计 A. 分步骤实现 1.准备文件 1.下载小说或长篇新闻稿 2.上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filter 阅读全文
posted @ 2022-04-01 19:27 林华博 阅读(25) 评论(0) 推荐(0) 编辑
  2022年3月20日
摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 2.1启动hdfs 2.2上传文件 2.3查看文件 2.4加载 2.5停止hdfs 3. 通过并行集合(列表)创建RDD 输入列表 字符串 numpy生成数组 二、 RDD操作 转换操作 filter(fun 阅读全文
posted @ 2022-03-20 21:17 林华博 阅读(14) 评论(0) 推荐(0) 编辑
  2022年3月12日
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统主要包含了Spark Core、Spark SQL、Spark Streaming、MLlib和GraphX 等组 件,各个组件的具体功能如下。 (1)Spark C 阅读全文
posted @ 2022-03-12 19:05 林华博 阅读(58) 评论(0) 推荐(0) 编辑
  2022年3月6日
摘要: 基础环境—环境准备检查 下载安装文件 安装文件 配置相关文件 配置环境变量 运行pyspark 在pyspark中运行代码 统计词频 阅读全文
posted @ 2022-03-06 11:20 林华博 阅读(8) 评论(0) 推荐(0) 编辑
  2022年2月27日
摘要: 一,列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 1 、HDFSHadoop分布式文件系统(Hadoop Distributed File System,HDFS)是Hadoop项目的两大核心之一,是针对谷歌文件系统(Google File Syste 阅读全文
posted @ 2022-02-27 12:51 林华博 阅读(84) 评论(0) 推荐(0) 编辑