摘要: 大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 us-counties美新冠数据 2.准备分析哪些问题?(8个以上) (1). 统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作为分组字段,对cases和deaths字段进行汇总统计。 (2). 统计美国每日的新增确诊人数和新 阅读全文
posted @ 2021-06-04 19:29 约翰克里斯朵夫 阅读(49) 评论(0) 推荐(0) 编辑
摘要: spark连接mysql数据库 1.安装启动检查Mysql服务。netstat -tunlp (3306) 2.spark 连接mysql驱动程序。 –cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spar 阅读全文
posted @ 2021-05-30 12:10 约翰克里斯朵夫 阅读(19) 评论(0) 推荐(0) 编辑
摘要: 读学生课程分数文件chapter4-data01.txt,创建DataFrame。 一、用DataFrame的操作或SQL语句完成以下数据分析要求,并和用RDD操作的实现进行对比: 每个分数+5分。 总共有多少学生? 总共开设了哪些课程? 每个学生选修了多少门课? 每门课程有多少个学生选? 每门课程 阅读全文
posted @ 2021-05-18 11:31 约翰克里斯朵夫 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 0.前次作业:从文件创建DataFrame 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0 阅读全文
posted @ 2021-05-13 08:47 约翰克里斯朵夫 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 1.Spark SQL出现的 原因是什么? 关系数据库已经流行多年,能较好的满足各类商业公司的业务数据管理需求,但关系数据库在大数据时代已经不能满足各种新增的用户需求。用户需要从不同数据源执行各种操作(包括结构化和非结构化数据),也需要执行高级分析(在实际大数据应用中,经常需要融合关系查询和复杂分析 阅读全文
posted @ 2021-05-10 15:45 约翰克里斯朵夫 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 读文本文件生成RDD lines 将一行一行的文本分割成单词 words flatmap() 全部转换为小写 lower() 去掉长度小于3的单词 filter() 去掉停用词 转换成键值对 map() 统计词频 reduceByKey() 8.按字母顺序排序 sortBy(f) 9 阅读全文
posted @ 2021-04-17 13:09 约翰克里斯朵夫 阅读(74) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words flatmap() 3.全部转换为小写 lower() 4.去掉长度小于3的单词 filter() 5.去掉停用词 6.转换成键值对 map() 7.统计词频 reduceByKey() 二、学生课程分 阅读全文
posted @ 2021-04-05 11:53 约翰克里斯朵夫 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 一、filter,map,flatmap练习: 1.读文本文件生成RDD lines 2.将一行一行的文本分割成单词 words 3.全部转换为小写 4.去掉长度小于3的单词 5.去掉停用词 二、groupByKey练习 6.练习一的生成单词键值对 7.对单词进行分组 8.查看分组结果 学生科目成绩 阅读全文
posted @ 2021-03-30 12:25 约翰克里斯朵夫 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 1. 2. 3. 阅读全文
posted @ 2021-03-28 14:38 约翰克里斯朵夫 阅读(31) 评论(0) 推荐(0) 编辑
摘要: 1. 阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系,为什么要引入Yarn和Spark。 (1)引用Yarn是为了解决原始Hadoop扩展性差,不支持多计算框架而提出的 (2)Spark的速度比Hadoop更快。同样的事情,Hadoop要两 阅读全文
posted @ 2021-03-12 15:58 约翰克里斯朵夫 阅读(90) 评论(0) 推荐(0) 编辑