Spark实施备忘

AttributeError: 'SparkConf' object has no attribute '_get_object_id'

初始化SparkContext时出现这种错误是因为把SparkConf对象放在了参数第一个的位置,由于pyspark命令行会默认创建一个SparkContext, 因此重新初始化时由于默认参数的问题,可能导致类似找不到属性的情况。最好单独创建py文件并通过spark-submit提交。
另外,初始化时最好使用conf=conf的方式,防止默认位置参数的影响。
参考STO:http://stackoverflow.com/questions/32362783/how-to-change-sparkcontext-properties-in-interactive-pyspark-session

 

posted @ 2016-07-20 21:09  harelion  阅读(...)  评论(... 编辑 收藏