摘要: 05 RDD练习:词频统计,学习课程分数 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频  阅读全文
posted @ 2021-06-06 20:00 sevenven 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 6.练习一的生成单词键值对 阅读全文
posted @ 2021-06-06 19:59 sevenven 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 1. 为什么要引入Yarn和Spark。 Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管 阅读全文
posted @ 2021-06-06 19:58 sevenven 阅读(87) 评论(0) 推荐(0) 编辑
摘要: 缺交: https://www.cnblogs.com/hhs7/p/14856228.html 02 Spark架构与运行流程 缺交原因:忘了 https://www.cnblogs.com/hhs7/p/14856231.html 04 RDD编程练习 缺交原因:忘了 https://www.c 阅读全文
posted @ 2021-06-04 17:14 sevenven 阅读(54) 评论(0) 推荐(0) 编辑
摘要: spark连接mysql数据库 1、安装启动检查Mysql服务。 netstat -tunlp (3306) 2、spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spa 阅读全文
posted @ 2021-05-30 22:07 sevenven 阅读(21) 评论(0) 推荐(0) 编辑
摘要: 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大于95分的学生人数? Tom选修了几门课?每 阅读全文
posted @ 2021-05-24 17:33 sevenven 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
posted @ 2021-05-13 22:05 sevenven 阅读(27) 评论(0) 推荐(0) 编辑
摘要: 1.Spark SQL的前身是 Shark,Shark最初是美国加州大学伯克利分校的实验室开发的Spark生态系统的组件之一,它运行在Spark系统之上,Shark重用了Hive的工作机制,并直接继承了Hive的各个组件, Shark将SQL语句的转换从MapReduce作业替换成了Spark作业, 阅读全文
posted @ 2021-05-07 17:45 sevenven 阅读(18) 评论(0) 推荐(0) 编辑
摘要: >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] + 1...>>> ss = sorted( 阅读全文
posted @ 2021-04-22 21:24 sevenven 阅读(47) 评论(0) 推荐(0) 编辑
摘要: 学生课程分数案例 总共有多少学生?map(), distinct(), count() 开设了多少门课程? 每个学生选修了多少门课?map(), countByKey() 每门课程有多少个学生选?map(), countByValue() Tom选修了几门课?每门课多少分?filter(), map 阅读全文
posted @ 2021-04-16 16:52 sevenven 阅读(34) 评论(0) 推荐(0) 编辑