摘要: 大作业: 1.选择使用什么数据,有哪些字段,多大数据量。 选用kaggle提供的美国疫情数据 有五个字段:date county state cases deaths 数据量:158984条 2.准备分析哪些问题?(8个以上) (1).统计美国截止每日的累计确诊人数和累计死亡人数。做法是以date作 阅读全文
posted @ 2021-06-07 19:48 红烧鸿宝 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 一. 1.Spark SQL出现的 原因是什么? spark sql是从shark发展而来。Shark为了实现Hive兼容,在HQL方面重用了Hive中HQL的解析、逻辑执行计划翻译、执行计划优化等逻辑,可以近似认为仅将物理执行计划从MR作业替换成了Spark作业(辅以内存列式存储等各种和Hive关 阅读全文
posted @ 2021-06-07 19:42 红烧鸿宝 阅读(40) 评论(0) 推荐(0) 编辑
摘要: 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
posted @ 2021-06-07 19:40 红烧鸿宝 阅读(14) 评论(0) 推荐(0) 编辑