摘要: 1.请分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 原因:SparkSQL的前身Shark对于Hive的太多依赖(如采用Hive的语法解析器、查询优化器等等),制约了Spark的One Stack Rule Them All的既定方针,制约了Spark各个组件的相互集成,所以 阅读全文
posted @ 2022-05-10 18:06 贴贴贴贴 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 集合运算练习 union(), intersection(),subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件,签到日期汇总,出勤次数统计 三、综合练习: 阅读全文
posted @ 2022-04-19 11:35 贴贴贴贴 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计 A. 分步骤实现 1、准备文件 (1)下载小说或长篇新闻稿 (2)上传到hdfs上 2、读文件创建RDD 3、分词 4、排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,可网盘下载stopwords.txt,filt 阅读全文
posted @ 2022-04-12 09:43 贴贴贴贴 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 一、 RDD创建 二、 RDD操作 1、filter(func) 2、map(func) a字符串分词: b数字加100: c客串加固定前缀: 3、flatMap(func) a分词: b单词映射成键值对: 4、reduceByKey() a统计词频,累加: b乘法规则: 5、 groupByKey 阅读全文
posted @ 2022-03-27 22:25 贴贴贴贴 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark生态系统图: 各组件的功能: Spark Core: Spark核心组件,它实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark C 阅读全文
posted @ 2022-03-11 15:01 贴贴贴贴 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 一、安装Spark 1.检查基础环境hadoop,jdk 二、Python编程练习:英文文本的词频统计 f1文本文件 There are moments in life when you miss someone so much that you just want to pick them fro 阅读全文
posted @ 2022-03-04 19:26 贴贴贴贴 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 答:主要的核心组件有HDFS和MapReduce,其他还包括ZooKeeper、HBase、Hive、Pig、Mahout、Sqoop、Flume、Ambari等功能组件 HDFS:HDFS具有很好的容 阅读全文
posted @ 2022-02-22 11:13 贴贴贴贴 阅读(9) 评论(0) 推荐(0) 编辑