2020年1月5日

本机使用sparkshell测试s3读写数据小记

摘要://step1 下载spark,我官网下载的spark2.4.4 hadoop2.7.3预编译版本 解压即可以使用//这里需要注意一点,我本机安装了最新的openjdk13,执行sparksql的时候报错,//解决方法修改spark-env.sh 更新JAVA_HOME=/PATH/TO/JDK8 阅读全文

posted @ 2020-01-05 19:48 tneduts 阅读(408) 评论(0) 推荐(0) 编辑

spark write data to minio test

摘要:想在本机测试一下,spark read write to s3 cloud storeage. minio是一个不错的选择,轻量,兼容aws s3协议。 可以使用docker来做。 #拉取镜像 docker pull minio/minio#启动容器docker run -p 9000:9000 - 阅读全文

posted @ 2020-01-05 14:05 tneduts 阅读(220) 评论(0) 推荐(0) 编辑

导航