2019年9月27日

异常：Python in worker has different version 2.6 than that in driver 2.7

摘要： 问题：pyspark的环境和系统python环境冲突 解决： 方法一、 import osos.environ['PYSPARK_PYTHON']='/opt/anaconda2/bin/python' 方法二、 export PYSPARK_PYTHON= 位置 export PYSPARK_DR 阅读全文

posted @ 2019-09-27 14:08 nnnnnnnnnnnnnnnn 阅读(2181) 评论(0) 推荐(0)

pyspark之创建SparkSession

摘要： 1.from pyspark.sql import SparkSession 2.spark = SparkSession.builder.master("spark://master:7077") \ .appName('compute_customer_age') \ .config('spar 阅读全文

posted @ 2019-09-27 14:05 nnnnnnnnnnnnnnnn 阅读(2198) 评论(0) 推荐(0)

导航