2017年9月23日

Python执行spark程序配置

摘要： spark没有配置Python环境变量的时候使用Python只用spark时候回出现 from pyspark import SparkConf,SparkContentImportError: No module named pyspark 所以要在环境变量中配置 打开 vim /etc/prof 阅读全文

posted @ 2017-09-23 19:33 潺潺水声 阅读(3198) 评论(0) 推荐(0) 编辑

spark安装(初级篇)

摘要： 1.spark编译版安装 首先去官网下载 http://spark.apache.org/downloads.html 页面上有下载按键点击 之后选择对应的编译的Hadoop版本 2 下载完成之后解压 进入解压文件夹的bin目录 其中 spark-shell 是运行scale语言的命令窗口，pysp 阅读全文

posted @ 2017-09-23 19:18 潺潺水声 阅读(146) 评论(0) 推荐(0) 编辑

导航