摘要: 1.选择使用什么数据,有哪些字段,多大数据量。 答:us-counties美新冠数据;字段:date,county,state,cases,deaths;数据量:158981条 2.准备分析哪些问题?(8个以上) (1). 统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作为分组字段, 阅读全文
posted @ 2021-06-07 19:23 果宝机甲,归位!!! 阅读(30) 评论(0) 推荐(0) 编辑
摘要: 安装启动检查Mysql服务。netstat -tunlp (3306) spark 连接mysql驱动程序。–cp /usr/local/hive/lib/mysql-connector-java-5.1.40-bin.jar /usr/local/spark/jars 启动 Mysql shell 阅读全文
posted @ 2021-05-31 20:46 果宝机甲,归位!!! 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 1.生成“表头” 2.生成“表中的记录” 3.把“表头”和“表中的记录”拼装在一起 每个分数+5分。 总共有多少学生? 每个学生选修了多少门课? 每门课程大于95分的学生人数? Tom选修了几门课?每门课多少分? Tom的平均分 求每门课的平均分,最高分,最低分。 每门课的不及格人数,通过率 阅读全文
posted @ 2021-05-20 20:16 果宝机甲,归位!!! 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 3.1 利用反射机制推断RDD模式 sc创建RDD 转换成Row元素,列名=值 阅读全文
posted @ 2021-05-14 21:23 果宝机甲,归位!!! 阅读(34) 评论(0) 推荐(0) 编辑
摘要: 1.Spark SQL出现的 原因是什么? 2.用spark.read 创建DataFrame 3.观察从不同类型文件创建DataFrame有什么异同? 4.观察Spark的DataFrame与Python pandas的DataFrame有什么异同? spark_sql中DataFrame创建: 阅读全文
posted @ 2021-05-10 14:33 果宝机甲,归位!!! 阅读(26) 评论(0) 推荐(0) 编辑
摘要: 总共有多少学生?map(), distinct(), count() .开设了多少门课程? 每个学生选修了多少门课?map(), countByKey() 每门课程有多少个学生选?map(), countByValue() Tom选修了几门课?每门课多少分?filter(), map() RDD T 阅读全文
posted @ 2021-04-19 13:59 果宝机甲,归位!!! 阅读(42) 评论(0) 推荐(0) 编辑
摘要: 一、词频统计: 2.待做 3.待做 阅读全文
posted @ 2021-04-05 16:31 果宝机甲,归位!!! 阅读(28) 评论(0) 推荐(0) 编辑
摘要: 1. 2. 3. 阅读全文
posted @ 2021-03-31 21:14 果宝机甲,归位!!! 阅读(32) 评论(0) 推荐(0) 编辑
摘要: 恢复内容开始 null 恢复内容结束 阅读全文
posted @ 2021-03-31 21:08 果宝机甲,归位!!! 阅读(18) 评论(0) 推荐(0) 编辑
摘要: (注:文本内容为 hahahah spark is good 在书本案例的前面加了hahahah,全班自此一个,如有雷同则为抄袭) 阅读全文
posted @ 2021-03-28 16:40 果宝机甲,归位!!! 阅读(23) 评论(0) 推荐(0) 编辑