摘要: 最近公司新弄来一台linux redhat 4.4.7服务器,准备在上面离线安装python3.7,安装过程中出现一些问题,特此记录下来。 首先在python官网上下载了 Python-3.7.3.tgz文件,放在/usr/local/python3.7路径下,然后解压到该路径下 tar -zxvf 阅读全文
posted @ 2019-08-15 10:29 hgz_dm 阅读(6902) 评论(0) 推荐(0) 编辑
摘要: 最近刚学习spark,用spark-submit命令提交一个python脚本,一开始老报错,所以打算好好整理一下用spark-submit命令提交python脚本的过程。先看一下spark-submit的可选参数 1.spark-submit参数 --master MASTER_URL:设置集群的主 阅读全文
posted @ 2019-08-15 10:26 hgz_dm 阅读(12054) 评论(1) 推荐(0) 编辑
摘要: 公司的hadoop集群是之前的同事搭建的,我(小白一个)在spark shell中读取hdfs上的文件时,执行以下指令 >>> word=sc.textFile("hdfs://localhost:9000/user/hadoop/test.txt") >>> word.first() 报错:jav 阅读全文
posted @ 2019-08-15 10:22 hgz_dm 阅读(2325) 评论(0) 推荐(0) 编辑