2021年6月6日
10 期末大作业
摘要： 补交作业： 02 Spark架构与运行流程 https://www.cnblogs.com/tangweiyi/p/14854951.html 04 RDD编程练习 https://www.cnblogs.com/tangweiyi/p/14854962.html 08 学生课程分数的Spark S 阅读全文
posted @ 2021-06-06 12:21 圆圆圆圆1111 阅读(50) 评论(0) 推荐(0)
08 学生课程分数的Spark SQL分析
摘要： 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生？ 总共开设了哪些课程？ 每个学生选修了多少门课？ 每门课程有多少个学生选？ 每门课程大于95分的学生人数？ Tom选修了几门课？每门课多少分？ Tom选修了几门课？每门课多少分？ Tom的成绩按分数大小排序。 To 阅读全文
posted @ 2021-06-06 11:56 圆圆圆圆1111 阅读(52) 评论(0) 推荐(0)
04 RDD编程练习
摘要： 一、filter,map,flatmap练习： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文
posted @ 2021-06-06 11:55 圆圆圆圆1111 阅读(33) 评论(0) 推荐(0)
02 Spark架构与运行流程
摘要： 1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S 阅读全文
posted @ 2021-06-06 11:51 圆圆圆圆1111 阅读(40) 评论(0) 推荐(0)
2021年5月30日
09 spark连接mysql数据库
摘要： 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql 阅读全文
posted @ 2021-05-30 15:53 圆圆圆圆1111 阅读(37) 评论(0) 推荐(0)
2021年4月22日
07 Spark RDD编程 综合实例 英文词频统计
摘要： 1. 结果 2. 并比较不同计算框架下编程的优缺点、适用的场景。 –Python –MapReduce –Hive –Spark Mapreduce，它最本质的两个过程就是Map和Reduce，Map的应用在于我们需要数据一对一的元素的映射转换，比如说进行截取，进行过滤，或者任何的转换操作，这些一对 阅读全文
posted @ 2021-04-22 21:23 圆圆圆圆1111 阅读(59) 评论(0) 推荐(0)
2021年4月12日
06 RDD编程
摘要： 学生课程分数案例 总共有多少学生？map(), distinct(), count() 开设了多少门课程？ 每个学生选修了多少门课？map(), countByKey() 每门课程有多少个学生选？map(), countByValue() Tom选修了几门课？每门课多少分？filter(), map 阅读全文
posted @ 2021-04-12 20:50 圆圆圆圆1111 阅读(35) 评论(0) 推荐(0)
2021年4月5日
05 RDD练习：词频统计，学习课程分数
摘要： 一、词频统计： 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
posted @ 2021-04-05 19:33 圆圆圆圆1111 阅读(49) 评论(0) 推荐(0)
2021年3月28日
Spark RDD编程基础
摘要： 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter() 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 阅读全文
posted @ 2021-03-28 17:45 圆圆圆圆1111 阅读(47) 评论(0) 推荐(0)
2021年3月2日
大数据概述
摘要： 1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于 阅读全文
posted @ 2021-03-02 19:23 圆圆圆圆1111 阅读(50) 评论(0) 推荐(0)