随笔分类 -  spark

spark链接hive并查询数据
摘要：首先启动 hadoop,mysql,hive 服务 {hadoop}/sbin/start-all.sh service mysqld start hive --service metastore& hive --service hiveserver2 & 最后启动spark 我是以python方式 阅读全文

posted @ 2017-09-26 09:48 潺潺水声 阅读(793) 评论(0) 推荐(0)

Python执行spark程序配置
摘要：spark没有配置Python环境变量的时候使用Python只用spark时候回出现 from pyspark import SparkConf,SparkContentImportError: No module named pyspark 所以要在环境变量中配置 打开 vim /etc/prof 阅读全文

posted @ 2017-09-23 19:33 潺潺水声 阅读(3232) 评论(0) 推荐(0)

spark安装(初级篇)
摘要：1.spark编译版安装 首先去官网下载 http://spark.apache.org/downloads.html 页面上有下载按键点击 之后选择对应的编译的Hadoop版本 2 下载完成之后解压 进入解压文件夹的bin目录 其中 spark-shell 是运行scale语言的命令窗口，pysp 阅读全文

posted @ 2017-09-23 19:18 潺潺水声 阅读(161) 评论(0) 推荐(0)

导航