摘要：
1.分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。 SparkSQL出现的原因 hive是shark的前身，shark是sparkSQL的前身，sparkSQL产生的根本原因是其完全脱离了hive的限制，hive是hive SQL转换成MapReduce然后提交到集群上执行，大 阅读全文
posted @ 2022-05-11 21:52
^____^
阅读(69)
评论(0)
推荐(0)
摘要：
集合运算练习 union()， intersection()，subtract(), cartesian() 内连接与外连接 join(), leftOuterJoin(), rightOuterJoin(), fullOuterJoin() 多个考勤文件，签到日期汇总，出勤次数统计 三、综合练习： 阅读全文
posted @ 2022-04-20 14:56
^____^
阅读(17)
评论(0)
推荐(0)
摘要：
一、词频统计 A. 分步骤实现 准备文件 下载小说或长篇新闻稿 上传到hdfs上 读文件创建RDD 分词 排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 长度小于2的词f 阅读全文
posted @ 2022-04-07 21:51
^____^
阅读(30)
评论(0)
推荐(0)
摘要：
一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建 3.通过并行集合（列表）创建RDD 输入列表，字符串，numpy生成数组 二、 RDD操作 转换操作 1. map(func) 2. filter(func) 行动操作 1.foreach(print) 2.col 阅读全文
posted @ 2022-03-30 17:43
^____^
阅读(24)
评论(0)
推荐(0)
摘要：
1、Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 1. Spark CoreSpark Core是整个BDAS的核心组件，是一种大数据分布式处理框架，不仅实现了MapReduce的算子map函数和reduce函数及计算模型，还提供如f 阅读全文
posted @ 2022-03-15 19:25
^____^
阅读(45)
评论(0)
推荐(0)
摘要：
一、安装Spark 1.检查基础环境hadoop,jdk 2.下载spark 已安装 3.解压，文件夹重命名、权限 已安装 4.配置文件 5.环境变量 6.启动pyspark 7.试运行Python代码 二、Python编程练习：英文文本的词频统计 1.准备文本文件 2.统计每个单词出现的次数 阅读全文
posted @ 2022-03-08 19:00
^____^
阅读(16)
评论(0)
推荐(0)
浙公网安备 33010602011771号