背景：一，在用python编辑spark时，需要在windows本地搭建一套spark环境，然后将编辑好的.py上传到hadoop集群，再进行调用；二，在应用spark进行机器学习时，更多时候还是在windows环境下进行会相对比较方便。 组件准备： 1、Python3.6.7 2、JDK（本文中使 Read More
posted @ 2021-03-15 17:18
欣欣姐
Views(6233)
Comments(0)
Diggs(0)
在安装过程中，请务必注意版本，本人在第一次安装过程中，python版本为3.8，spark版本为3.1.1的，故安装后，在运行pyspark的“动作”语句时，一直报错 Python worker failed to connect back尝试很多办法都无法是解决这个问题， 最后只能将spark版本 Read More
posted @ 2021-03-15 16:20
欣欣姐
Views(4314)
Comments(0)
Diggs(0)
浙公网安备 33010602011771号