摘要: 1.pandas df 与 spark df的相互转换 df_s=spark.createDataFrame(df_p) df_p=df_s.toPandas() 2. Spark与Pandas中DataFrame对比 http://www.lining0806.com/spark%E4%B8%8E 阅读全文
posted @ 2021-06-14 18:27 桉叶 阅读(42) 评论(0) 推荐(0) 编辑
摘要: 1.Spark SQL出现的原因是什么? Shark是一个为Spark设计的大规模数据仓库系统,它与Hive兼容。Shark建立在Hive的代码基础上,并通过将Hive的部分物理执行计划交换出来。这个方法使得Shark的用户可以加速Hive的查询,但是Shark继承了Hive的大且复杂的代码使得Sh 阅读全文
posted @ 2021-06-14 18:17 桉叶 阅读(232) 评论(0) 推荐(0) 编辑