摘要: 补交作业7 1.分析SparkSQL出现的原因,并简述SparkSQL的起源与发展。 Spark SQL的数据,不是使用Java对象的方式来进行存储,而是使用面向列的内存存储的方式来进行存储。每一列作为一个数据存储的单位。从而大大优化了内存使用的效率。采用了内存列存储之后,减少了对内存的消耗,也就避 阅读全文
posted @ 2022-06-01 10:27 湘伦籽 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 三、学生课程分数 持久化 scm.cache() 总共有多少学生?map(), distinct(), count() 开设了多少门课程 生成(姓名,课程分数)键值对RDD,观察keys(),values() 每个学生选修了多少门课?map(), countByKey() 每门课程有多少个学生选?m 阅读全文
posted @ 2022-04-20 15:48 湘伦籽 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计 A.分步骤实现 1.准备文件 (1)下载小说或长篇新闻稿 (2)上传到hdfs上 2.读文件创建RDD 3.分词 4.排除大小写lower(),map() 标点符号re.split(pattern,str),flatMap(), 停用词,长度小于2的词filter() 5.统计词频 6 阅读全文
posted @ 2022-04-04 21:14 湘伦籽 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 一、 RDD创建 1.从本地文件系统中加载数据创建RDD 2.从HDFS加载数据创建RDD 启动hdfs 上传文件 查看文件 加载 停止hdfs 3.通过并行集合(列表)创建RDD输入列表、字符串、生成数组 数组 列表 字符串 二、 RDD操作 转换操作 filter(func) 显式定义函数,la 阅读全文
posted @ 2022-03-16 09:40 湘伦籽 阅读(63) 评论(0) 推荐(0) 编辑
摘要: 1.Spark已打造出结构一体化、功能多样化的大数据生态系统,请用图文阐述Spark生态系统的组成及各组件的功能。 Spark Core 实现Spark的基本功能,包括任务调度、内存管理、错误恢复、与存储系统交互等,以及RDD(Resilient Distributed Dataset)API的定义 阅读全文
posted @ 2022-03-09 11:27 湘伦籽 阅读(59) 评论(0) 推荐(0) 编辑
摘要: 一、安装Spark 配置文件 试运行Python代码 二、Python编程练习:英文文本的词频统计 1. 准备文本文件 2.读文件 path='/home/hadoop/wc/f1.txt' with open(path) as f: txt=f.read() 3.预处理 大写转小写 txt = t 阅读全文
posted @ 2022-03-02 11:52 湘伦籽 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 1.列举Hadoop生态的各个组件及其功能、以及各个组件之间的相互关系,以图呈现并加以文字描述。 HDFS(hadoop分布式文件系统) HDFS是hadoop中数据存储管理的基础,现在已经成为大数据的存储标准。它适合存储一次写入,多次读出的数据。同事它也是一个高容错的系统,能检测和应对相应的硬件故 阅读全文
posted @ 2022-02-23 11:19 湘伦籽 阅读(76) 评论(0) 推荐(0) 编辑