摘要: 缺交: https://www.cnblogs.com/2895675017qqcom/p/14858748.html https://www.cnblogs.com/2895675017qqcom/p/14858756.html 原因:不好意思忘了。 大作业: 1.选择使用什么数据,有哪些字段,多 阅读全文
posted @ 2021-06-07 14:44 szq33 阅读(43) 评论(0) 推荐(0) 编辑
摘要: 1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] 阅读全文
posted @ 2021-06-07 14:38 szq33 阅读(301) 评论(0) 推荐(0) 编辑
摘要: 1. 准备文本文件从文件创建RDD lines=sc.textFile()筛选出含某个单词的行 lines.filter()lambda 参数:条件表达式 2. 生成单词的列表从列表创建RDD words=sc.parallelize()筛选出长度大于2 的单词 words.filter() 好文要 阅读全文
posted @ 2021-06-07 14:35 szq33 阅读(37) 评论(0) 推荐(0) 编辑
摘要: 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 3.启动 Mysql 阅读全文
posted @ 2021-05-31 14:32 szq33 阅读(111) 评论(0) 推荐(0) 编辑
摘要: 08 学生课程分数的Spark SQL分析 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作完成以下数据分析要求 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程大 阅读全文
posted @ 2021-05-26 22:22 szq33 阅读(41) 评论(0) 推荐(0) 编辑
摘要: 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
posted @ 2021-05-13 22:35 szq33 阅读(14) 评论(0) 推荐(0) 编辑
摘要: 1.Spark SQL出现的 原因是什么? 随着Spark的发展,对于野心勃勃的Spark团队来说,Shark对于Hive的太多依赖(如采用Hive的语法解析器、查询优化器等等),制约了Spark的One Stack Rule Them All的既定方针,制约了Spark各个组件的相互集成,所以提出 阅读全文
posted @ 2021-05-10 16:16 szq33 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 1. 用Pyspark自主实现词频统计过程。 >>> s = txt.lower().split()>>> dd = {}>>> for word in s:... if word not in dd:... dd[word] = 1... else:... dd[word] = dic[word] 阅读全文
posted @ 2021-04-23 16:17 szq33 阅读(84) 评论(0) 推荐(0) 编辑
摘要: 总共有多少学生?map(), distinct(), count() 开设了多少门课程? 每个学生选修了多少门课?map().countByValue() //map(), countByKey() 每门课程有多少个学生选?map(), countByValue() Tom选修了几门课?每门课多少分 阅读全文
posted @ 2021-04-16 17:29 szq33 阅读(38) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
posted @ 2021-04-05 13:19 szq33 阅读(22) 评论(0) 推荐(0) 编辑