实用指南：基于Spark的气象数据处理与分析

项目概况

[]
点这里,查看所有项目
[]

数据类型

气象数据

软件版本

python3.8.18、hadoop3.2.0、spark3.1.2、scala2.12.18、jdk8

开发语言

python

开发流程

数据分析(spark)->可视化(matplotlib)

可视化图表

操作步骤(在pycharm中执行)

安装python安装包

pip install pandas==2.0.3 -i https://mirrors.aliyun.com/pypi/simple/
pip install matplotlib==3.7.4 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install findspark==2.0.1 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pyspark==3.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple

直接执行analysis.py

在pycharm中直接执行analysis.py,执行过程中,matplotlib会生成可视化图