摘要: DataFrame在Spark 1.3时加入,其前身是Spark 1中的SQL Context、Streaming Context、Hive Context等对象,它类似于关系数据库中的表,是行和列进行组织数据。DataFrame相当是一张二维表,可以使用SparkSession中的各种函数来创建。 阅读全文
posted @ 2021-10-28 20:02 iamlroot 阅读(620) 评论(0) 推荐(0)
摘要: 在Windows中安装PySpark环境 安装Python 可以选择安装官方版本的Python,或是Anaconda,对应的地址如下。 下载地址 Python:https://www.python.org/ Anaconda: https://www.anaconda.com/download/#w 阅读全文
posted @ 2021-08-09 15:52 iamlroot 阅读(275) 评论(0) 推荐(0)