摘要：
1. 分析SparkSQL出现的原因，并简述SparkSQL的起源与发展。SparkSQL的前身Shark对于Hive的太多依赖（如采用Hive的语法解析器、查询优化器等等），制约了Spark的One Stack Rule Them All的既定方针，制约了Spark各个组件的相互集成，所以提出了S 阅读全文
posted @ 2022-05-11 11:25
fiewuf
阅读(35)
评论(0)
推荐(0)
摘要：
三、综合练习：学生课程分数 网盘下载sc.txt文件，通过RDD操作实现以下数据分析: 持久化 scm.cache() 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 生成（姓名，课程分数）键值对RDD，观察keys(),values() 每个学生选修了多少 阅读全文
posted @ 2022-04-20 16:43
fiewuf
阅读(33)
评论(0)
推荐(0)
摘要：
一、词频统计 A. 分步骤实现 1、准备文件 下载小说或长篇新闻稿 上传到hdfs上 2、读文件创建RDD 3、分词 4、排除大小写lower()，map() 标点符号re.split(pattern,str)，flatMap(), 停用词,可网盘下载stopwords.txt,filter()， 阅读全文
posted @ 2022-04-06 23:09
fiewuf
阅读(21)
评论(0)
推荐(0)
摘要：
一、 RDD创建 1、从本地文件系统中加载数据创建RDD 2、从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3、通过并行集合（列表）创建RDD 输入列表 字符串 numpy生成数组 二、 RDD操作 （一）转换操作 1、filter(func) 显式定义函数 l 阅读全文
posted @ 2022-03-29 20:58
fiewuf
阅读(39)
评论(0)
推荐(0)
摘要：
1.Spark已打造出结构一体化、功能多样化的大数据生态系统，请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core：Spark Core包含Spark最基础和最核心的功能，如内存计算、任务调度、部署模式、故障恢复、存储管理等，主要面向批数据处理。 Spark SQL：Spark 阅读全文
posted @ 2022-03-14 20:50
fiewuf
阅读(63)
评论(0)
推荐(0)
摘要：
一、安装Spark 1、检查基础环境hadoop,jdk 2、下载spark 3、解压，文件夹重命名、权限 4、配置文件 5、环境变量 6、试运行Python代码 二、Python编程练习：英文文本的词频统计 1、准备文本文件 2.统计每个单词出现的次数 阅读全文
posted @ 2022-03-08 16:13
fiewuf
阅读(39)
评论(0)
推荐(0)
浙公网安备 33010602011771号