摘要: 缺交:https://www.cnblogs.com/xwj0920/p/14850399.html 05 RDD练习:词频统计,学习课程分数 原因:当时忘记交了 大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 数据:中国疫情数据 字段:中国地区、新增死亡人数、新增疑似人数、新增确诊人数、 阅读全文
posted @ 2021-06-07 16:26 XWJ0920 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
posted @ 2021-06-04 17:07 XWJ0920 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 1、安装启动检查Mysql服务。 netstat -tunlp (3306) 2、spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql 阅读全文
posted @ 2021-05-31 15:31 XWJ0920 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 总共有多少学生? 总共开设了哪些课程 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每门课多少分? Tom的成绩按分数大小排序。 阅读全文
posted @ 2021-05-25 21:25 XWJ0920 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 1.Spark SQL出现的 原因是什么?Spark SQL是Spark用来处理结构化数据的一个模块,它提供了一个叫作Data Frame的编程抽象结构数据模型(即带有Schema信息的RDD),Spark SQL作为分布式SQL查询引擎,让用户可以通过SQL、DataFrame API和Datas 阅读全文
posted @ 2021-05-09 19:26 XWJ0920 阅读(79) 评论(0) 推荐(0) 编辑
摘要: 1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] 阅读全文
posted @ 2021-04-22 21:21 XWJ0920 阅读(52) 评论(0) 推荐(0) 编辑
摘要: 总共有多少学生?map(), distinct(), count() 开设了多少门课程? 每个学生选修了多少门课?map().countByValue() //map(), countByKey() 每门课程有多少个学生选?map(), countByValue() Tom选修了几门课?每门课多少分 阅读全文
posted @ 2021-04-16 16:47 XWJ0920 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文
posted @ 2021-03-29 17:50 XWJ0920 阅读(29) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2021-03-26 17:49 XWJ0920 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1)使用mapreduce进行批量离线分析; 2)使用hive进行历史数据的分析; 3)使用hbase进行实时数据的查询; 4)使用storm进行实时的流处理; (2)选用spark的原因 1) 应用于流式计算的S 阅读全文
posted @ 2021-03-14 21:31 XWJ0920 阅读(48) 评论(0) 推荐(0) 编辑